在狄仁杰忙于处理捕获的所谓李贞党羽之事时，张光辅统率的讨伐大军仍驻扎在豫州，没有撤走。将士们自以为征战有功，横行霸道，桀骜不驯，向当地官府要钱要物，稍不如意，就恶语相加。张光辅不予以制止，反而纵容部下的这种行为，使驻军与当地官府的矛盾愈来愈激化。豫州刚刚经过战争的破坏，府库空虚，狄仁杰爱民心切，不愿向百姓伸手，加征赋税，拒绝了这些无理要求。张光辅大怒，认为这是地方官员对他这位元帅的轻视，对狄仁杰痛加训斥。狄仁杰对他说：“乱汝南者只是一个李贞，像你这样搞下去，一个李贞死去，千万个李贞将要起来！”张光辅责问这是什么意思？狄仁杰继续说：“明公统兵30万，所诛杀的应是李贞一人。官军攻到城下时，城中军民得知官军到来，争先恐后，纷纷出城归降，明公纵容将士抢掠百姓，杀死归降者，以充作自己的战功，流血染红了土地，如此暴虐岂不是要导致千万个李贞产生出来！”说到这里，狄仁杰愈加激愤，激动地说：“（我）恨不得尚方斩马剑，加于明公之颈，虽死如归耳！”张光辅是以宰相身份充任诸军统帅的，位高而权重，狄仁杰当然清楚得罪了这样的人物将意味着什么，但为了豫州百姓他也就将自己的一切置之度外了。在狄仁杰义正辞严的驳斥下，张光辅哑口无言，但“心甚衔之”，恨透了狄仁杰。返回洛阳后，向武则天诬告狄仁杰“不逊”。武则天一时分辨不清是非，听信了张光辅一面之辞，将狄仁杰贬为复州刺史。
张光辅纵容部下，屠杀豫州归降的军民，以表示对武则天的忠诚，但不到一年时间，就被武则天处死，其中罪名之一就是征伐越王李贞时心怀两端。历史在这里和张光辅开了一个很大的玩笑，草菅人命的人，其性命终于也被人草菅。
事情是这样的，徐敬业起兵失败后，他的弟弟徐敬真被流放边远州郡。后来，他设法脱逃，路经洛阳时得到旧友洛州司马弓嗣业和洛阳县令张嗣明的资助，并设法将他送出洛阳。永昌元年（689）七月，徐敬真逃到定州（治今河北定州）时，被当地官吏抓获。弓嗣业因此被处死，徐敬真、张嗣明二人怕死，见武则天大开告密之门，告密者都可升官受赏，遂产生了通过此法，以图免死的念头。他们把凡是与自己认识的人都牵连进来，诬陷这些人心怀不轨，谋图造反，使一批朝野之士遭到逮捕和屠杀。当然武则天也没有赦免他们的死罪，在其没有利用价值后，仍把他们处以死刑。在这两人诬陷的众多人中，就有张光辅，说他“征豫州日，私论图谶、天文，阴怀两端”。武则天也没有深究，遂于八月将张光辅诛戮，并抄没其家。就实际情况而论，张光辅这次的确是无辜被杀，但从他在豫州屠杀大批百姓，又诬陷狄仁杰这样的贤臣的行径看，他的死也是罪有应得。
