1953年3月，斯大林去世。在獨裁者的國葬儀式上，朱可夫是軍方儀仗隊伍中非常引人注目的一員。在后斯大林時代，任命朱可夫為國防部副部長，是新的蘇聯(lián)政府最早宣布的決定之一。隨著1955年2月朱可夫被繼斯大林之后擔任蘇共領導人的赫魯曉夫任命為國防部部長，對他的平反工作也繼續(xù)迅速展開。1955年7月，朱可夫參加了在日內瓦舉行的英、法、美、蘇大國峰會。這也是戰(zhàn)后的首次峰會。他在那里遇到了戰(zhàn)爭剛結束時曾在柏林共事的德懷特·艾森豪威爾總統(tǒng)，并與之進行了會談。讓當時的《時代》雜志感到好奇的是：“兩位老兵的友誼能否成為美蘇緊張關系真正緩和的基礎？”

作為國防部部長，朱可夫在蘇聯(lián)成了引人關注的公眾人物，其地位僅次于赫魯曉夫。1957年6月，在反對以前外交部部長維亞切斯拉夫·莫洛托夫為首的強硬派企圖剝奪赫魯曉夫領導權的斗爭中，朱可夫扮演了重要角色。但不幸的是，對朱可夫而言，他在與莫洛托夫的斗爭中所表現(xiàn)出的勇氣，使自己成了赫魯曉夫眼中的政治威脅。1957年10月，朱可夫受到指控，說他陰謀削弱黨在武裝力量中的作用。在那些指控朱可夫最力的人當中，有許多都是戰(zhàn)爭期間曾與他并肩戰(zhàn)斗的將軍和元帥。朱可夫被赫魯曉夫解除了國防部部長職務，并于1958年3月在六十一歲這個還相對年輕的年齡時退役了。

就像在斯大林時代被外放一樣，朱可夫在赫魯曉夫時代剩余的時光里，也遭受了同樣的命運：從歷史書籍中除名。例如，蘇共在從1960年開始出版的大部頭、多卷本衛(wèi)國戰(zhàn)爭史中，在極力夸大赫魯曉夫的作用的同時，對朱可夫幾乎只字不提。朱可夫失勢的另一個表現(xiàn)就是把他與外界隔離開來。1963年，美國作家科尼利厄斯·瑞安在為他的那本研究柏林戰(zhàn)役的書而訪問蘇聯(lián)的時候，唯一被禁止見到的蘇聯(lián)元帥就是朱可夫。

讓朱可夫聊以自慰的是，他可以寫自己的回憶錄。他的作家角色的榜樣是溫斯頓·丘吉爾。他讀過后者以回憶錄的形式撰寫的二戰(zhàn)史——20世紀50年代在蘇聯(lián)出版并限制發(fā)行的俄文譯本。丘吉爾寫那部書時的座右銘是，歷史會證明他是對的———因為他將會書寫歷史！朱可夫似乎也抱有類似的想法，他不僅要用回憶錄來表明自己的觀點，還要用它來回擊和反駁赫魯曉夫那幫人對他的批評，盡管那意味著會為了對自己有利而影響到歷史記錄的準確性。

只要赫魯曉夫還在繼續(xù)統(tǒng)治蘇聯(lián)，朱可夫的回憶錄就不可能出版。當他的女兒埃拉問他為什么還要勞神費力的時候，朱可夫說自己是為書桌的抽屜寫的。不過，1964年10月，赫魯曉夫下臺了，為恢復朱可夫作為重要軍事人物的名譽的工作也開始了。最值得注意的是，蘇聯(lián)媒體又開始發(fā)表朱可夫的文章了，包括他對莫斯科、斯大林格勒、庫爾斯克和柏林等戰(zhàn)役的記述。