不久，另一次的风险又落在他的身上。自七五年开始，毛泽东与周恩来向四届人大提出在本世纪内实现四个现代化的宏伟计划后，邓小平的落实派开始得到重用。相反,四人帮自批林批孔以来所用的政治阴谋亦已有害.这些事实更增加了毛氏重用邓小平的决心.同年九月,邓小平发动了一次"反击"行为.这次虽是有些微的效果,却未能摆脱"困兽"格的控制.当时中央在大寨召开"全国农业学大寨会议".当时江青跑到大寨捣乱，在会中讲邓小平“迫害”了她，并吹嘘了自己在小靳庄的经验。邓小平针对江青的所作所为，说：“先有人学小不学大！”。“后继要有人，中心是教育部门，一点外语知识也不懂，对现代化一点不懂，还可以做什么。先国内数百万教员，只挨骂，怎么调动积极性？”他一方面说出中国几百万老师的说话，同时又掴了四人帮一大巴掌！

再加上此时，在距中南海不远竟建起了许多大建筑物（如北京饭店等高厦），由大厦上可望见中南海，“虎此时不但被犬欺，而且任何人都可看可谈可笑了“。劫数还是劫数，任何人都不能抗拒。一九七六年邓小平在准备不足的情况下被第二次打倒了。那时马路上贴满了“反击右倾翻案风”的大标语，全国响起了“打倒邓小平”的口号，报章上是连篇累牍的批评文章。不久邓小平本人已被软禁于东交民巷八号的一座房子里，文革之前这处是罗荣桓，贺龙等人的住宅。

在这段岁月里，邓小平的子女是不允许和他一起的，他的身边只有老伴卓林和两个外孙。可是当时以江青为首的四人帮立心不给他任何慰籍，故最后更安排邓氏到圆明园居住，自己四人帮的党羽共同居住与中南海上。

圆明园乃是清太后所筑的一座宫殿式的建筑物。当年为使清廷的国家永保以及一显国力，所以曾一度邀请名相士云集其间，研究如何建筑才可以帮助清帝万世之业。这次邓氏的被迫入住真的是命运的巧妙安排，焉知非福。邓氏自搬入圆明园后，身体一日比一日健康，精神奕奕，五矮之相得到充分增养。在这安宁的环境中，定下来他对国家未来的发展大计。原来圆明园的建筑乃是名家设计的，一派中国式的陈设，如七级浮屠，红墙绿瓦，小桥流水等，气势磅薄，虽然损于战火中，但龙气积聚，因火焚烧之后，更为盛旺。邓氏位于其中，既以脱离中南海之轲兽格，又得圆明园之灵气熏陶，便奠定了她将来建国立业之宏图。