狄仁杰到江南后，看到这种情况深感如不扫除这些陋俗，既不利于民风的改变，也不利于吏治的整顿。他并不是简单地下令焚毁一切祠庙，而是有所选择，除夏禹、吴太伯、季札、伍子胥四种庙外，其余绝大部分祠庙全都予以焚毁，共毁去1700余所。狄仁杰保留以上四庙，是有他的道理的。大禹是治理水患、拯救万民的英雄，也是中华民族崇敬的祖先，百姓修庙祭祀，表现的是对其历史功绩的纪念和对祖先的尊崇。吴太伯是春秋时吴国的祖先和创建者，他的后代季札是吴国的贤人，颇通周礼，江南人设庙祭祀他们，是尊祖行为。当然无可非议。伍子胥是历史上吴国的忠臣，为国而死，是后人崇敬的楷模，江南人对他崇拜由来已久，非其他地区人可比。对于这些人物的庙宇狄仁杰当然要予以保留，不能干挫伤百姓感情的事情。
狄仁杰焚毁的淫祠中其他种种神灵不想再详述，仅就一些历史人物的祠庙谈一点看法。据载，被焚毁的祠庙中有周赧王、项羽、春申君、赵佗、马援、吴桓王、吴夫概王等人的祠庙。像这些祠庙实在没有必要存在，如周赧王是亡国之君，项羽为败军之将，马援不过是东汉一将，赵佗为南越之王……诸如此类，划入淫祠范围是非常正确的。据载，当时拆毁项羽庙时，当地人皆不敢前去，说是入内者必死。狄仁杰知道后十分愤怒，于是就撰写了一篇檄文，以正告西楚霸王项羽及其将校，然后命人拆毁项羽庙，竟然十分顺利，没有再发生任何异常情况。这篇文章十分有意思，节录如下：
鸿名不可以谬假，神器不可以力争，应天者膺乐推之名，背时者非见机之主。自祖龙御宇，横噬诸侯，任赵高以当轴，弃蒙恬而齿剑。沙丘拼祸于前，望夷覆灭于后，七庙堕圮，万姓屠原，鸟思静于飞尘，鱼岂安于沸水。赫矣！皇汉受命，玄穹膺赤帝之镇符，当素灵之缺运。俯张地纽，彰凤举之符，仰缉天纲，郁龙兴之兆。而君潜游泽国，啸聚水乡，矜扛鼎之雄，逞拔山之力，莫测天符之所会，不知历数之有归。遂奋关中之翼，竟垂垓下之翅，盖尽由于人事，焉有属于天亡！虽驱百万之兵，终弃八千之子。以为殷鉴，岂不惜哉！固当匿魄东峰，收魂北极，岂合虚承庙食，广费牲牢。仁杰受命方隅，循革攸寄，今遣焚燎祠宇，削平台室，使蕙帏销烬，羽帐随烟，君宜速迁，勿为人患。
这篇檄文气势磅礴，正气凛然，表现了狄仁杰不畏鬼神，变革陋俗的决心。项羽虽然在楚汉相争中失败了，但是在江南人的心目中他仍然是一位英雄。在江南人信仰的诸神灵中他又是所谓大神，敬畏程度自然非一般小神可比，如果项羽庙不能毁去，势必直接影响对其他诸神庙宇的焚毁，甚至可能会导致狄仁杰这次行动的流产。狄仁杰知难而进，首先焚毁这些所谓大神的祠庙，就可以推动整个工作的顺利进行。在这篇檄文中狄仁杰斥责项羽不知谋略，不善用人，一味逞强。所谓“矜扛鼎之雄，逞拔山之力”，致使百万雄兵连同八千之子葬身于异乡。他还认为项羽垓下之败，“盖尽由于人事，焉有属于天亡”。即完全是人为的结果，和天命并无关系。嘲笑了项羽至死都不醒悟，没有认识到自己失败的根本原因之所在。这是狄仁杰进步历史观的反映。最后，狄仁杰提出要项羽“匿魄东峰，收魂北极”，反思自己所犯的错误，没有资格再享受庙食，虚费牲牢。
通观这篇檄文结构紧凑、言辞犀利、正气凛然、说服力强，是狄仁杰流传至今为数不多的文章中的上乘之作，也是狄仁杰反对迷信、反对淫祠滥祀祸害百姓的不屈宣言，在很大程度上鼓舞了江南百姓焚毁淫祠，移风易俗的勇气。
