“四人帮”的主犯之中，姚文元有写日记的习惯，在他的日记中记录许多鲜为人知的事。1976年，在毛主席去世之后，“四人帮”之一的姚文元就似乎预料到了自己的下场，他在日记中记录了自己复杂的心情。
据姚文元在日记中的记录，他想过和江青等人划清界限，但是在经过反复权衡之后，他还是决定和江青等人站在一起，一是江青身份特殊，二是张春桥提拔了他，出了问题也有张春桥替他顶着。
尽管姚文元做了决定，也为此做了许多事，可是他的心中仍感觉不踏实。据姚文元在日记中写道，有一天他在饭间突然对女儿说了一番奇怪的话，表达了自己可能随时会死的意思和情感。
1976年10月6日下午3点，姚文元收到紧急通知，当天晚上八点在怀仁堂二楼参加会议，尽管姚文元当时心中有疑虑，但面对来接他参加会议的汽车时，他还是上车了。当天晚上，根据中央决定对姚文元进行隔离审查。
1977年7月，根据大会决定，永远开除姚文元的党籍，撤销其党内外一切职务。1981年1月25日，姚文元被判处有期徒刑20年，剥夺政治权利5年。姚文元受到了应有的惩处，他在狱中积极改造。
1996年10月，65岁的姚文元刑满释放了。此时他的家庭已经发生了翻天覆地的变化，他原本有一个妻子和3个女儿，其中次女有先天性的病，不过在姚文元的照顾下，一家人的日子仍过得很好。
然而在姚文元入狱之后，他的妻子金英就带着3个女儿搬离了大院，住到了上海卢湾区的普通居民楼里。姚文元在狱中期间，他的大女儿出嫁了，妻子金英就带着两个女儿生活，工作单位也调整了，不过金英请了长期病假。
姚文元和妻子金英的感情很好，遗憾的是在他出狱前一个月，金英病逝了。出狱后的姚文元被安置在湖州生活，不过他先申请去了上海，为妻子金英操办后事，随后他才到了湖州生活。
到了湖州之后姚文元过着深居简出的生活，他把主要精力放在了写回忆录上，经过一段日子的坚持写作，姚文元写出了42万字的回忆录。在众多出版社得知消息后，有出版社表示可以出五百万元购买他的回忆录版权。
姚文元晚年向组织提出了两个请求，一是请求能恢复自己的党籍，二是请求能够出版自己的回忆录。很显然他的第一个请求属于痴心妄想，作为“四人帮”之一的主犯，他被开除了党籍，自然不可能恢复。
至于姚文元提出的第二个请求，组织上在2001年给他了答复，不过需要先对回忆录进行审核。姚文元随即把回忆录交给了相关部门审核，可是迟迟没有下文，不过组织上提高了对他的待遇，每月有4000左右的养老费用。
此外组织上考虑到姚文元的生活需要人照顾，专门给他配了一名警卫兼护工。虽然姚文元的两个请求没有得到落实，但是他的晚年生活得到了妥善照顾。2005年12月23日，姚文元病逝，终年74岁。
