在國共和談破裂之后，耿飚出任中共第19兵團副司令員兼參謀長，作為“楊羅耿兵團”的三巨頭之一，轉戰(zhàn)華北、西北。

耿飚是正兒八經(jīng)的將軍，可是，后來耿飚卻奉命“改行”，去當外交官了。耿飚先后擔任了中國駐瑞典、巴基斯坦、緬甸大使，外交部副部長。

在“文革”中，耿飚被打入“牛棚”。

當中共九大即將召開時，外交部的中共黨員們選耿飚為九大代表，可是外交部卻有人借口耿飚尚在“牛棚”，還在接受“審查”，把耿飚的名字從代表名單中劃掉。此事被周恩來獲知，報告毛澤東，毛澤東同意把耿飚列入中共九大代表名單。這下，耿飚也就結束了“牛棚”生活。

于是，在1969年5月，耿飚被任命為駐阿爾巴尼亞大使。

1971年1月，耿飚因病回國休養(yǎng)。病愈后，經(jīng)周恩來提議，任命耿飚為中共中央對外聯(lián)絡部部長。

耿飚為人正直，上任不久便得罪了江青。

本來，江青跟中共中央對外聯(lián)絡部沒有什么工作聯(lián)系。一樁小事，使她領教了耿飚的脾氣：

江青此人，頗愛攝影，又愛出風頭。她想在《人民畫報》上開一個她的攝影專欄，不斷發(fā)表“峻嶺同志”的攝影作品?！熬X”，也就是江青的筆名。

《人 民畫報》是以多種文字向世界發(fā)行的雜志，屬于外文出版社。外文出版社又屬外文局領導，而外文局則歸中共中央對外聯(lián)絡部管轄。由于江青的地位特殊，《人民畫 報》打了報告向外文出版社請示，外文出版社把報告轉到外文局，外文局上報中共中央對外聯(lián)絡部，也就到了耿飚手中。耿飚認為，《人民畫報》無此先例，江青企 圖憑借她特殊的政治地位破例，不行！

消息飛快地傳進江青的耳朵。江青為此大大地生了耿飚的氣，以致有一回在春節(jié)團拜會上，江青逐一與參加團拜的領導人握手，等見到耿飚時卻一扭頭！站在耿飚旁邊的李先念發(fā)覺了這一“細節(jié)”，問起耿飚來，方知為了《人民畫報》的事，江青對耿飚竟一直耿耿于懷……

當然，《人民畫報》的事，只是小事一樁罷了。在江青看來，耿飚和外交界的姬鵬飛、黃鎮(zhèn)一樣，都是“周恩來的人馬”。所以，江青對他們很惱恨。

在粉碎“四人幫”的緊急時刻，葉劍英急調(diào)耿飚這位有著多年“文官”經(jīng)歷的武將。