成帝死后，赵氏姊妹失势，积十余年的怨毒，开始爆发。初掌权王莽追究责任，赵合德虽未毒死成帝，然而从前在宫里淫乱的事，若一经逮问，断难隐讳，况且要连累家里人一同坐罪，于是自己喝下毒药毙命。

绥和二年，汉成帝死后无子，由定陶王刘欣即位，即汉哀帝，赵飞燕被尊为太后。哀帝在位六年崩驾，随即平帝刘即帝位，赵飞燕第二度失去了靠山，被贬为孝成皇后，后由于其妹合德害死了后宫的皇子，被杀，朝中群臣指责赵飞燕“失妇道，淫乱宫帏，不生育，断了皇室的后代”等等罪名，贬皇太后为孝成皇后，迁居到北宫，过了一个多月，被贬为庶人，被赐自杀。

成帝虽然不是隋炀帝那样的亡国之君，但总难逃史书的谴责。关于他后来一变而纵情于酒色和靡靡之音之说可能部分地是出于历史学家的偏见，是失宠的班婕妤家的成员撰书夸张之言。但不管是什么偏见，关于成帝缺乏意志力或他纵情于轻薄的放荡行为的说法却是有一定的根据的。