王侁等确实在陈家谷口设置了伏兵，但等到中午也没见到杨业的人影后便撤了，以为杨业趁胜追击辽兵去了，孰不知当时杨业统领的军队已伤亡大半，到陈家谷口无人接应后，只有被俘一条路。

被俘后的杨业叹息着说：“朝廷待我甚厚，本当讨敌安边，以报国家，不料被奸臣所逼，致使王师败绩，我还有什么脸面活着！”于是绝食三日而亡。由此可知，陈家谷口逼杨业进军，后又将接应部队撤走的人是王侁而非潘美。据史料，当时对王侁的撤兵，潘美是有阻止的，只是阻止得不够坚决，所以潘美不是没错，但只是错在他因为他误信了王侁之言，对错误的方法阻止不够坚决而已，并非如小说家笔下那般坏透了顶，不仅在陈家谷口算计杨业，还如通俗小说或电视剧里描写的那样按兵不动，射杀杨七郎等。

杨业死后，宋太宗赵光义在事后处理参战人员时，仅将潘美贬官三级，而监军王侁则“除名，隶金州”，刘文裕“除名，隶登州”。旌表杨业“尽力死敌，立节迈伦，诚坚金石，气激风云，求之古人，何以如此！”（《宋史·杨业传》)。戎马一生的潘美，虽未受到太重的惩罚，但晚年这一失足，足以让他心中怏怏，一年多以后，潘美便病死于太原，终年六十七岁。

此后，潘美的形象被慢慢丑化，《杨家府演义》等小说不仅把潘美写成了奸臣，还让潘美死于忠臣开封府尹寇准的刀下，有点玩笑开大了。《宋史· 太宗纪》载，潘美于淳化二年（991）六月死于太原，而寇准任开封尹，则在咸平五年（1002），北宋《开封府题名记》碑（现藏开封市博物馆）可为证。