严嵩虽然在嘉靖朝权倾一时，位高权重，为人也阴险狡诈，但他在家庭生活中却是一个好丈夫，与结发妻子欧阳氏的感情很好，没有其他姬妾，二人育有二女一子。严嵩柄政时，朝野上下流传着“大丞相”、“小丞相”的称呼，“大丞相”指的是严嵩，“小丞相”指的就是严嵩独子——严世蕃。

据说，明代有名的一部小说《金瓶梅》就与严世蕃有着千丝万缕的联系。小说中的“西门庆”这个主要人物就是影射严世蕃而来的。严世蕃小名“庆儿”，号“东楼”，《金瓶梅》的作者“兰陵笑笑生”将“东楼”化作“西门”，直接用“庆”字为名，创造出这个小说人物，来影射严世蕃荒淫无度的生活。这里姑且不去考证“西门庆”到底是不是以严世蕃为原型，但严世蕃贪酷成性、生活糜烂却是跟小说里的西门庆非常相似。

一次，严嵩的义子赵文华从江南回来，送给严世蕃的见面礼就是一顶价值连城的金丝帐，还给严世蕃的二十七个姬妾每人一个珠宝髻。就这些礼物，严世蕃还嫌太少，心里非常不满，可见他的贪婪到了何种程度。世宗的第三子裕王朱载垕(chòu)，按例应被立为太子，但世宗对他不是很亲近。因此，严氏父子对他也很冷淡。就连照例每年该给裕王府的岁赐，户部都因为没有严氏父子的命令而一连三年都没给发放。最后，这位未来的皇帝凑了一千五百两银子送给严世蕃，严世蕃欣然接受，才让户部补发了岁赐。严世蕃每每向人夸耀：“天子的儿子尚且要送给我银子，谁敢不给我送银子?”严世蕃的胆子真是大到了极点。

严嵩虽然奸贪狡诈，但却只有欧阳氏一个妻子，二人携手终老。严世蕃在这点上与他父亲截然不同。贪必好淫，淫必生贪，这话用在严嵩身上未必准确，但用在严世蕃的身上却很合适。他荒淫无度的生活比起《金瓶梅》中的西门庆，有过之而无不及。严世蕃的妻妾就有二十七个，其他的侍女、丫鬟更是无数。他让他的这些美妻娇妾，列屋群居，她们所用服饰，绣着龙凤花纹，点缀着珍珠宝石，极尽奢华之能事。严世蕃用象牙床，围着金丝帐，朝歌夜舞，很为自己的奢糜生活感到得意。但是他没想到，这正是他最被百姓痛恨的原因之一。嘉靖一朝，南倭北虏，民不聊生，严世蕃的大肆奢华铺张当然就更招人忌恨。

严氏父子因其贪赃枉法早就被正直之士所痛恨，不断有人站出来弹劾他们。但是，因为明世宗的偏听偏信、严嵩的奸猾狡诈，这些弹劾不但都没有奏效，那些上章弹劾他们父子的人反而往往备受打击，丢官不说，有的还搭上了身家性命。

沈炼，曾作锦衣卫经历。嘉靖三十一年(1551)，上疏弹劾严嵩“贪婪愚鄙”，历数其“受将帅之贿，边防弛备”、“受诸王馈赠，干预宗室事务”、“揽御史之权，败坏政纪”、“嫉贤妒能”等罪状。世宗不但未将严嵩治罪，还认为这是沈炼诋毁大臣，下诏将沈炼廷杖、谪官。严氏父子并不罢休，几年后，指使党羽寻机陷害，沈炼被斩，他的三个儿子，两个被打死，一个被发配到边疆。