洪武二十三年(1390)，李善长已是77岁高龄的老人，仍居高位，但已没有精力来约束他的部下了。他的贪欲有增无减，那么大岁数了，还忙着经营私房，人手不够，居然冒私自动用军队的大忌，开口向手握兵权的汤和“借”一百士兵。汤和马上向朱元璋密报了此事，朱元璋又老大不高兴。这年4月，京城中因犯罪而发配到边地去的人中，有李善长的亲戚丁斌等人，李善长又置国法于不顾，公然向有关方面说情，要将丁斌等人留下。朱元璋得到报告后，终于来了个总爆发，马上下令将丁斌抓来审问。这丁斌曾在胡惟庸家做过事，这一下好，不知是朱元璋找到了好素材亲自编导的一出活报剧呢，还是丁斌为了立功抵罪而血口喷人，丁斌供出李存义父子直接参与了胡惟庸的谋反案，此时，距胡惟庸案已经过去整整10年，按理应是过了诉讼期了吧。可朱元璋不管这些，马上下令将李存义父子逮捕审讯，自然，这一次就必然牵连到李善长了，说什么胡惟庸谋反前，曾叫李存义悄悄告诉李善长，李善长听后惊恐万状，骂李存义道：你怎么说出这些话来?一旦抓住你，九族就要受你的牵连而遭到诛灭。胡惟庸不死心，又让李善长的故交杨文裕去策反他并许愿道：一旦事成之后，将淮西一带赐给你并封你为王。李善长听后仍旧惊恐，但已怦然心动。胡惟庸见李善长始终不给个准信，便亲自出马劝说，李善长仍不予答应。过了一段时间，胡惟庸又让李存义去劝说，李善长这次叹道：我已经老了，等我死之后，你们要做什么再做吧。有了这些口供，再添些其他的罪状，一番深文周纳，李善长插翅难逃。朱元璋宣布道：李善长身为国家重臣，又是皇亲国戚，知道有人谋反却不举报，狐疑观望心怀两端，属大逆不道，加之夜观星宿有变，主处大臣。有免二死丹书铁卷、77岁高龄的李善长这才知道一死都不能免，于是自缢于家。他家七十余口人，除驸马李祺和他的两个子女沾了公主之恩未受连累外，全都和他同赴黄泉!