回到家中，马新贻把两个兄弟叫到身边说道”我这次去任职凶多吉少，万一身有不测，千万不要到京城去告状，要忍气吞声方能自保”。（马新贻）准备妥当后，马新贻便出发前往南京，从曾国藩手中接下了主政一方的大权，曾国藩前往天津负责“教案”（法国传教士以传教为由纠结地痞欺压民众，导致民众攻击教会致数十人被谋杀）。1870年8月22日，马新贻照例阅兵检查，这次阅兵允许百姓观看，结束后马新贻步行回署，却遭遇了张文祥的刺杀。
为了完成这次刺杀，张文祥苦练了刺杀技术数月，他用精钢做了两把锋利无比的匕首，每当夜深人静的时候，他就用匕首刺四五层牛皮。一开始，张文祥一层牛皮也刺不透，可几个月后，他能一刀轻松穿透五层牛皮。在刺杀之前，他还特意考察了地点，确保一击即中。马新贻被刺中后脸色苍白，蜷缩着身体，众人将他扶回公署，很快便呼吸困难，最终因抢救无效一命呜呼。
刺杀过程疑点重重，审理过程一波三折，最后草草结案案发之后，朝廷立即组织人员进行审讯，主审法官为江宁将军魁玉，可张文祥守口如瓶，任由魁玉动用各种酷刑，愣是一个字不说。魁玉一看这样没法交差，于是禀告朝廷：张文祥参加过太平军，我已将他女儿、儿子捉拿归案。朝廷也不是傻子，知道魁玉说的都是废话，立刻抽调漕运总督张之万去南京审理此案。
张之万是个老油条，知道张文祥背后必有指使，如果审出来了，主使对己不利，审不出来朝廷问罪，于是他就用了一个字：拖！朝廷觉得此事关系重大，8月30日给曾国藩下了调令，让他立马动身回南京。当时曾国藩处理天津教案两头不是人，法国人骂他审案不力，中国人骂他是走狗汉奸。他压力很大，调令正好解救他于水深火热之中，可面对调令，他却以年事已高，老眼昏花为由赖着不走。
朝廷三番五次找他，他才勉强答应，11月7日出发，36天后才到南京，上任之后也不着急审案，反而慢慢悠悠地拖着，原来他在等一个人：刑部尚书郑敦谨。1871年2月19日，郑敦谨姗姗来迟，刺马案才正式开审，但审理过程并不顺利，因为只有郑敦谨一个人在发问，坐在一旁的曾国藩总是闭目养神，几天下来郑敦谨似乎明白了些什么，每当他审到关键之处，曾国藩总会提示几句“差不多就得了”。
郑敦谨看得出来，刺杀马新贻的案件涉及到多个重要部门，牵扯势力庞大，于是他给出了一个结果“张文祥曾从发逆，复通海盗。曾于马新贻阅边至宁波时，拦舆呈控，未准审理，该犯心怀忿恨。”也就是说张文祥一开始是好人，后来他的同伴被海盗杀死，他请求马新贻审理，可是案件没受理，于是他怀恨在心，刺杀马新贻。这个说法漏洞很多，想想谁会因为一个不认不识的人不审理案子去刺杀一个人，而且还必须让他死呢？奇怪的是，朝廷竟然接受了这个结论，4月4日，朝廷批准了张文祥的死刑，执行者就是马新贻的弟弟马四。
