总攻第二天，苏军两翼包抄的装甲部队顺利会师，完成了对日军的分割包围。同时，强大的炮火和密集的轰炸将日军所有前沿炮兵阵地、观测所、通讯站完全摧毁。第203伞兵旅突袭敌后，成功地切断了日军的补给线，日军已成瓮中之鳖。东京不肯认输，怎么也不愿相信堂堂的“大日本皇军”会失败，命令部队立刻反击，不能坐以待毙。（从总体上说，日本军队的作风二战时期应该算顽强的。在日本宣布投降前，几乎没有成建制缴枪的部队，这是日军惟一可以标榜的一点资本。）

8月24日凌晨，反攻部队纷纷从坍塌的工事中爬了出来，等日军完全脱离了阵地之后，苏军的炮火铺天盖地般打了过去，无处躲藏的日军伤亡惨重。一天的反击中，日军仅仅前进了不足两公里，但伤亡却是可怕的。有些地方尸体多得摞在了一起，让人无处下脚。日本战史记载：左翼进攻部队只剩下7名军官和87名士兵，旅团长小林少将右腿被打断，险些让人踩死；右翼进攻部队中了苏军埋伏，森田彻大佐率队冲锋被打成了“筛子”。关东军的疯狂反击失败后，防线全线崩溃，苏军追击到将军庙一线停了下来，歼灭关东军主力目的已基本达到，斯大林不想在远东引发苏日大战。

诺门罕前线的日军最后仅剩下400余人，整建制跑出来的只有骑兵联队百十人。关东军司令官植田谦吉辞职，前线总指挥小松原切腹自杀，参谋长冈本双腿被打断，后来这位大佐在海拉尔医院治疗时，不知怎么惹恼了伤兵，被人用刀活活地砍死在病床上。整个诺门罕战争期间日军损失了近50000人，步兵第23师团、第7师团、第8国境守备队（旅团）、第1独立守备队（旅团）和第1坦克师团几乎损失殆尽，11个特种兵联队彻底丧失了战斗力。高级军官的伤亡也是空前的，日本报纸哀叹：“大量高级军官如此集中的伤亡是日俄战争后从未有过的”。

9月3日，关东军停止了一切战斗行动。东京肯罢战的原因一方面是前线已无可用之兵，一方面缘自《苏德互不侵犯条约》的签订。消息传来，无疑给日军当头一棒。签约前德国根本没打算跟日本通气，希特勒从心里瞧不起这个弹丸小国。当初《反共协定》签订后，日本一直追在德国屁股后面要求再搞个军事同盟，而希特勒则哼哼唧唧，始终不予明确答复，日本首相为此曾先后与德国进行了70多次磋商而未果，没想到德国却悄悄地先与他们共同的敌人苏联签订了和平条约，弄得日本狼狈不堪。日本政府颜面尽失，内阁只好宣布总辞职。在这次战争中，日本不仅军事上一败涂地，政治上也输得精光，成了国际舞台上一个令人耻笑的跳梁小丑。不久，“南进”派渐占上风，东京重新调整国策。日本从此将目光移向了太平洋和东南亚，准备与美、英分羹。