从此以后，朱可夫赋闲在家，即便1964年勃列日涅夫将赫鲁晓夫赶下台后，他也没有起用朱可夫。凄凉的晚年把朱可夫送到生命的尽头。
实际上，赫鲁晓夫之所以要解除朱可夫的职务，是因为两人在军队改革问题上发生了不可调和的矛盾。赫鲁晓夫以改革者自居，军队改革是他全盘计划中不可或缺的重要环节。而朱可夫则死抱住军队这一摊，不允许赫鲁晓夫插手。于是，二人便水火不相容了。同时，赫鲁晓夫内心也产生巨大的担忧，因为他明白威望日增、权倾一方的朱可夫既可以帮助自己巩固政权，也有可能帮助别人打垮自己。这是他要解除朱可夫国防部长职务的主要原因。
朱可夫直到生命的最后一刻也未被平反。直到1995年5月，俄罗斯纪念二战胜利50周年之际，其名誉才被彻底恢复。
