桓温废立后，对朝中的异己力量大加废徙。
武陵王司马晞好习武事，又在朝中担任太宰重职，素为桓温所忌。桓温以“聚纳轻剽，苞藏亡命“为由弹劾司马晞，免去司马晞与其子司马综、司马囗的官职，让他们返回封地。后来，桓温又逼新蔡王司马晃自首，称与司马晞、司马综、著作郎殷涓、太宰长史庾倩、散骑常侍庾柔等人谋反，将他们收付廷尉，请予诛杀。简文帝不许。最终，司马晞、司马晃被废为庶人，殷涓、庾倩、庾柔等人都被族诛。
颍川庾氏是高门望族，势力强盛，庾希、庾倩等兄弟六人皆为朝中显贵，深为桓温所忌。庾倩、庾柔被诛后，庾蕴饮鸩自尽。庾希则与弟弟庾邈、儿子庾攸之逃入海陵(今江苏泰州)陂泽，由表兄青州刺史武沈暗**应粮饷。庾友因儿媳桓氏是桓温侄女，得到求情，最终得以幸免。
咸安二年(372年)，桓温得知庾希兄弟的踪迹，派军队搜捕。庾希遂与武沈之子武遵在海边聚众抢夺船只，乘夜攻入京口，赶跑晋陵太守卞耽。他们打开监狱，放出数百囚徒，发放兵器，宣称奉密旨除桓温。卞耽逃往曲阿(今江苏丹阳)，征发诸县乡兵两千人，与庾希对抗。庾希战败，退守城池。桓温又命东海太守周少孙征讨。周少孙攻克京口，擒获庾希等人。最终，庾希、庾邈、武遵以及子侄、部众全被斩于建康。
桓温诛除庾氏，威势极盛。侍中谢安见而遥拜，更以君臣称作二人关系。而简文帝虽被立为皇帝，但却形同傀儡，常担心被桓温废黜，甚至向郗超询问桓温是否会再行废立。郗超以家族百口担保不会再发生政变，简文帝这才稍微安心。
简文帝继位不久，便进封桓温为丞相，留其在京师辅政。桓温辞让不受，率军返回白石，还镇姑孰。后来，简文帝又派侍中王坦之征召桓温，请其入朝辅政，并增食邑万户。桓温再次推辞。
咸安二年(372年)七月，简文帝病重，急召桓温回朝，并在一昼夜内连发四道诏书，桓温仍推辞不肯入朝。简文帝只得传下遗诏，让桓温摄政，效仿周公。侍中王坦之却更改诏书，将“摄政“改为“辅政“，依照诸葛亮、王导旧例。随即，简文帝驾崩。桓温原以为简文帝临死会禅位给自己，或让自己摄政，而今大失所望，怨愤不已。
简文帝驾崩后，群臣惧于桓温，不敢拥立太子，都认为应请桓温决定。尚书仆射王彪之极力反对，太子司马曜方才得以继位，是为晋孝武帝。褚太后认为孝武帝年幼，且正在居丧，再次提议让桓温摄政，结果被王彪之阻止。后来，孝武帝又命谢安征桓温入朝辅政，并加其前部羽葆鼓吹，赐武贲六十人。桓温仍旧辞让，既不接受，也不入朝。
宁康元年(373年)二月，桓温带兵入朝，拜谒皇陵。当时，京中流言四起，都说他此次入京是要诛除王谢、颠覆晋朝。朝廷命谢安、王坦之率百官到新亭(今南京西)迎接，拜于道侧，朝中位望稍高者皆惊慌失措。但桓温却只以“卢悚入宫“一案，将尚书陆始收付廷尉。不久，桓温患病，返回姑孰，前后在京不过十四天。
桓温回到姑孰后，病渐沉重，但仍逼朝廷加其九锡之礼，并多次派人催促。谢安、王坦之见桓温病重，以袁宏所作锡文不好为由命其修改，借此拖延。同年七月，桓温姑孰病逝，终年六十二，至此锡文仍未完成。朝廷追赠桓温为丞相，谥号宣武，丧礼依照安平献王司马孚、霍光旧例，又赐九旒鸾辂、黄屋左纛等物。
桓温这一生辅佐了成帝、康帝、穆帝、哀帝、废帝、简文帝六代皇帝，就差一点没有当上真正的皇帝，但是桓温证明了桓家取代了庾家成为第三届掌权者，也算是不虚此生了。简文帝在位两年，也对于朝廷事务看开了，他又是晋朝的大家长（他的哥哥已经死了）。
桓温立了新的皇帝，这位皇帝姓司马名曜，在他的统治之下，晋朝出现了一些回光返照的景象，而且在他执政的中期出现了一位田园诗人，而这位田园诗人写了一篇《桃花源记》，只不过诗人的生活一般都有文人的气质。
司马曜虽然成为了皇帝，但是由于桓温的糟蹋，朝政方面一片混乱。桓温死后，桓玄只能沉默着，因为一个姓谢的老头带领着自己的家族已经登上了政治的舞台。当然，这位姓血的老头在之后会保护着这个苟延残喘的王朝到达顶峰，但也是他将这个王朝打向地狱。
请看下一讲：东山再起
