张作霖不肯降身卖国恃外援以自保的做法，引起了以关东军为代表的日本少壮派军人的嫉恨，他们视张作霖为日本进一步在满洲扩张势力的障碍，认为必须施以外科手术，切除障碍，除此之外，别无解决满洲问题的好办法。
于是，一个密谋暗杀张作霖的计划便出笼了。
日本关东军经过仔细勘测，选择了皇姑屯以东约1000米的奉山铁路与满铁交叉处为炸车地点，派了十几个工兵，在铁路交叉点上，工作6个小时左右，将120公斤黄色炸药，分装30个麻袋，装置在南满与京奉两路交叉点中间的一个花岗岩桥墩上，同时在桥墩500公尺外的瞭望台上安有电流引线，控制触发爆炸。
对日方的这一布置，中国方面虽不知晓，但在张作霖回奉前几天，南满铁路与京奉铁路交叉处，日方不许行人通过，日本守备队在该处新增加了不少步哨。
奉天宪兵司令齐恩铭曾将这一异常现象用密电报告张作霖，请加防备。
但张作霖对此并未太重视。
此外，在张作霖离开北京之前，也已经得到一些日本关东军要对他采取不利行动的传闻，但他将信将疑，也未引起足够的重视；他本打算乘汽车取道古北口出关，但又觉得堂堂大元帅，偷偷摸摸遛出北京太不成体统，而且官做大了，自然享乐变为第一，公路崎岖不平，他怕受颠簸之苦；况且把兄弟张作相和吴俊升都已经拍着胸脯分别保证从北京到渝关和从渝关到沈阳皆有所部军队严密保护，必不至发生意外，所以，最后张作霖还是决定乘火车回奉天。
不过，张作霖毕竟也是疑心重重，他故布疑阵，在出京的具体时间上作了一点略带防范性的安排。
他先是宣布6月1日启程，后又改为6月2日动身，但直到6月3日凌晨2点钟，他才在夜色中悄然来到北京站，神不知鬼不觉地上了火车。
张作霖的专列共挂有22节车厢，他乘坐的是前清老佛爷慈禧太后的豪华花车。
为安全计，花车特意编排在整个列车的中部，前后方的车厢里坐满了随行人员和全副武装的卫队。
为防不测，在火车前面还特意设置了压道车，以防有人在路轨上做手脚。
专车到山海关时，车站上只有一两名日本守备队士兵站岗，态度如常，看不出有任何紧张的样子。
这时，黑龙江省督军吴俊升已由奉天专程到山海关迎接，上车后，同张作霖谈了几句前后方的局势，然后，就和莫德惠、常荫槐等玩了一夜的扑克牌，一直快到皇姑屯，张作霖说：各位回车，收拾行李时才散。
适逢夏季，夜短昼长，车到新民时，天已大亮。
沿铁路两旁，均有步哨警戒，十余步就是一岗，步兵均面向外立，作预备放姿势。
专车过皇姑屯时，奉天宪兵司令齐恩铭来接，齐上车后，专车即向东行驶，开往小西边门外奉天车站，此时沿线两旁还皆有岗哨警戒，但是到了老道口附近就没有了。
6月4日拂晓，武田中尉报告河本大作，张作霖的专列已经通过新民府。
河本大作立即命令川越大尉通知东宫中尉，按预定计划执行。
河本大作与齐腾参谋长，以及其他的参谋部人员，登上奉天满铁属地广场中的东拓大楼瞭望台，准备观察动向，等待炸车事件发生。
5时23分，张作霖的专列行至沈阳西北3公里的皇姑屯站时，就在这一瞬间，日本关东军东宫铁男中尉一按电钮，不差分秒，轰然一声巨响，地雷爆发，黑烟腾空而起，高达二百公尺，沙石横飞，交叉点上的南满铁路钢桥顿时炸毁，全桥塌下。
铁轨象麦芽糖般弯曲垂落在京奉路的路基上，花岗岩桥墩被炸毁，桥上枕木火势熊熊，电线全被炸断。
张作霖所乘的车厢被炸得粉碎，不成车行，车身碎片飞散到线路之外，其余车厢冒着黑烟，开始起火。
张作霖被炸得臂断肢伤，血肉模糊，昏倒在血泊之中；同车的吴俊升被一大铁钉穿入头部，脑浆迸流，当即气绝身亡；给张作霖理发的陈蛮子在爆炸后被烈焰活活烧死；校尉高其祥、会计高维周的骨头被炸断炸裂，伤势极重；张景惠遭受轻伤；六姨太马月清脚趾被烧伤；张作霖的日籍顾问仪峨被爆炸碎片埋压在下面，但却只受轻伤。
张作霖的校尉处长温守善，爆炸时始终未离开张作霖的左右，但他却幸免于难，据他后来著文回忆说：早晨五六点钟，张和吴望着车窗外熹微的晨光和青绿的庄稼，边看边谈。
正当这节花车穿行老道口交叉点时，轰隆一声巨响，烟尘滚滚，砂石纷飞，正好把这节车厢炸碎。
吴俊升脑袋上被扎进一颗铁钉子，当时救被炸身死，躺在车厢一角。
张作霖被炸出约三丈远。
我也受了伤，被尘土和碎板碎铁皮压在下面，我急忙爬起，来到张的跟前。
张作霖当时没有死，内里伤看不清，只见咽喉处有很深的一个大窟窿，流了很多血，污染领襟，我用一个大绸子手绢给堵上，由我和张学曾把张作霖抱到赶来的齐恩铭的汽车上。
看样子，张非常难受，已神志模糊，当时他还能说话，头一句就问我：‘逮住了吗？’我诳他说：‘逮住了！’张问：‘哪的？’我说：‘正在审问呢！’张说：‘我到家看看小五。
’接着又说：‘我尿一泡尿，尿完了尿我就要走啦！’（‘走啦’的意思是离开人世）很显然，他由于严重脑震荡，神志不清，说的都是呓语。
事件发生后，齐恩铭赶忙找了一辆旧汽车来，从破轮碎铁中找到血肉模糊的张作霖，把他抱上汽车急开沈阳，直奔大帅府。
差官跑进门报告说：大元帅被炸受伤，车已到大门口了••••••，卢夫人、寿夫人强忍住惊慌和恐惧，赶快跑出去迎接，汽车从花园门口开进来时，张作霖满身是血，伤口还在不断地朝外喷涌着。
被抬进小青楼后，张作霖神志还很清醒，医护人员手忙脚乱地用剪刀将衣服剪开，清洗伤口，才发现手臂已折断，随后赶来的杜医官赶紧施以紧急治疗。
这时，张作霖还能说话，他对卢夫人说：我受伤太重了，恐怕不行了，告诉小六子，以国家为重，好好干吧！我这个臭皮囊不算什么，叫小六子快回奉天。
说完不久，就瞑目长逝了。
时间是被炸当天上午九时三十分。
张作霖终年五十四岁。
其实日本策划炸死张作霖已不是第一次了，早在1916年他们就曾组织过一次暗杀，张作霖得以侥幸逃脱，大难不死。
当时辛亥革命推倒清朝皇帝后，以清廷余孽肃亲王善耆和大官僚升允为首的一批人，流亡在日本势力控制的大连，组织宗社党，企图煽动满蒙某些封建王公，脱离民国，再建清朝。
宗社党的活动，很受日本军国主义某些分子的赞助。
但屡次发动，都被张作霖武装震慑下去，未能成事。
面对满蒙独立运动的失败，当时日本国内有两派意见：一派主张对满蒙采取强硬措施，第二次起事，另一派则认为不应采取军事行动，而应利用张作霖的权势，巩固和扩大日本在东北的势力。
两派之间争吵不休，各自活动。
1916年，仇视张作霖的日本军方决定用非常手段将张杀掉。
5月中旬，伊达顺之助、三村丰预备少尉等组成满蒙决死团，执行杀害张作霖的任务。
5月27日，日皇弟闲院宫（载仁）由俄都回来经过奉天，张作霖为表示尊敬，特率其部下汤玉麟等乘五辆俄式马车，驰往南满铁路奉天车站迎接。
归途经过小西门时，遭到事先埋伏的三村丰等刺客的投弹袭击，由于他们不识张作霖的面貌，再加上惊惶失措，结果把驱车回城的汤玉麟误认为张作霖而投了弹。
瞬间，小西门大街血肉横飞，硝烟弥漫，一片骚乱。
张作霖听到爆炸声，临危生智，立刻弃车骑马，与骑兵卫士互换上衣，绕道奔返军署。
途经奉天交涉署附近时，又遭到从奉天图书馆三楼投下的第二枚炸弹，因张作霖飞马疾驰，炸弹的爆炸仅炸掉了他的帽子，碎片却把刺客炸死了。
日本两次投弹，张作霖两次幸免。
张作霖刚刚回到军署，喘息未定，日本铁道守备队队长和驻奉总领事就假惺惺地到军署向其道惊并表示慰问。
当时检验刺客尸体，认出脚型是常穿木屐的，事情是日本浪人干的，没有疑问，但日本侵略者却拒不承认，硬把一切责任都推到宗社党身上，说是宗社党所为。
张作霖虽知炸弹是日本所投，是日本人要置他于死地，，但当时满蒙地区属于日本势力范围，张作霖还想托庇于日本，以求支持，只好装聋作哑，不予追究，不了了之。
此后，日本侵略者和张作霖从各自利益的角度出发，曾亲密合作过一个时期，但是当日本侵略者感到张作霖已没有利用价值时，他们就又使出了他们的老伎俩——暗杀，这一次，他们终于得逞了。
暗杀成功后，日本帝国主义同样又抛出了他们惯用的伎俩——嫁祸于人，这也是他们早就预谋好的。
在炸车之前，河本大作就先制造了一起日军枪刺挑死两名所谓南方便衣的事件，将尸体扔在炸车地点附近，在尸体口袋里装上一封伪造的信，说明死者是北伐军的便衣，以嫁祸北伐军。
与此同时，河本大作又尽力消除爆炸现场日军作案的痕迹。
日方对此的解释是：这是南方派来的两名便衣队来扰乱东北的，走到我们守备队步哨网内，向他们盘诘，他们不答，我们就照军规把他们扎死了。
皇姑屯炸车案，是由日本关东军一手制造的，本不需要做任何调查，但为遮人耳目，日本驻奉天总领事馆在炸车案后却硬要中国派员会同调查，而且在现场调查的第二天，又拿出一张用打字机打好的日文报告，内称经过中日双方调查，证明炸车事件系南方派来的便衣队所为云云，并要中国方面签字盖章。
当经中国代表拒绝，日本关东军参谋长斋藤约张作霖的日文秘书陶尚铭谈话时，还坚称：据关东军所得情报，炸车案确系出南方间谍之手，实为张作霖将军不幸。
其实张作霖被炸案发生后，尽人皆知是日本所为，但日本政府却一直守口如瓶，极力掩盖事实真相。
直到二战结束后，谋杀张作霖的主犯，前关东军高级参谋河本大作大佐，作为战犯被捕，经远东国际军事法庭审讯才交代了谋杀张作霖的详细经过。