郭子仪功高盖世，位极人臣，他害怕同僚的嫉妒到了令人难以理解的地步。
唐朝名将郭子仪每次会见客人的时候，常有很多侍女陪伴在他的左右。但是，只要一听说卢杞来到，郭子仪就会命令侍女全部下去回避。他的儿子们不明白这是什么原因，郭子仪回答说：“卢杞的容貌丑陋，妇人见了没有不笑的。我要是不叫侍女回避，她们肯定不可避免地也要笑出声来的。卢杞心胸狭窄，会记恨在心的。将来如果他得志，我们全家人就都活不成了。”
郭子仪绝不是多虑，因为他知道，小人不可得罪，一定要小心加小心。
杨炎也曾与卢杞在一起共过事，两人曾同任宰相。杨炎善于理财，文才也好；而卢杞，除了巧言善辩，别无所长，但忌贤妒能，使坏主意害人却是拿手好戏。两个人在外表上也有很大不同，杨炎是个美髯公，仪表堂堂；卢杞脸上大片蓝色痣斑，相貌奇丑，形容猥琐。同在政事堂办公，一同吃饭，杨炎不愿同他同桌而食，经常找个借口在别处单独吃饭。有人趁机对卢杞挑拨说：“杨大人看不起你，不愿跟你在一起吃饭。”卢杞自然怀恨在心，便先找杨炎下属官员过错，并上奏皇帝。杨炎因而愤愤不平，说道：“我的手下人有什么过错，自有我来处理，如果我不处理，可以一起商量，他为什么瞒过我暗中向皇帝打小报告！”两个人的隔阂越来越深，常常是你提出一条什么建议，我偏偏反对；你要推荐一些人，我就推荐另一些人，总是对着干。
当时有一个藩镇割据势力梁崇义发动叛乱，德宗皇帝命令另一名藩镇李希烈去讨伐，杨炎不同意，说：“李希烈这个人，杀害了对他十分信任的养父而夺其职位，为人凶狠无情，他没有功劳却傲视朝廷，不守法度，若是在平定梁崇义时立了功，以后更不可控制了。”
德宗已经下定了决心，对杨炎说：“这件事你就不要管了！”杨炎却不把德宗的决定放在眼里，一再表示反对，这使对他早就不满的皇帝更加生气。
不巧赶上天下大雨，李希烈一直没有出兵，卢杞看到这是扳倒杨炎的好时机，便对德宗皇帝说：“李希烈之所以拖延不肯出兵，正是因为听说杨炎反对他的缘故，陛下何必为了保全杨炎的面子而影响平定叛军的大事呢？不如暂时免去杨炎宰相的职位，让李希烈放心，等到叛军平定以后，再重新起用，也没有什么大关系！”
这番话看上去完全是为朝廷考虑，也没有一句伤害杨炎的话，卢杞排挤人的手段就是这么高明。德宗皇帝果然信以为真，于是免去了杨炎宰相的职务。
从此卢杞独掌大权，杨炎可就在他的掌握之中了，他自然不会让杨炎东山再起的，便找茬整治杨炎。杨炎在长安曲江池边为祖先建了座祠庙，卢杞便诬奏说：“那块地方有帝王之气，早在玄宗时代，宰相萧嵩在那里建立过家庙，玄宗皇帝不同意，令他迁走；现在杨炎又在那里建家庙，必定是怀有篡夺的野心！”
早就想除掉杨炎的德宗皇帝便以卢杞这番话为借口，将杨炎贬至崖州，随即将他杀死。
杨炎有些刚愎自用，把对卢杞的蔑视表现在明处，最终被卢杞所害，这值得警戒啊。
