如此直言，豈能容忍？于是在周揚親自干預(yù)下，彥涵被戴上“右派”分子帽子。事后，所在黨支部開會，按當(dāng)時規(guī)定，凡劃了“右派”的一律開除黨籍，但在表決通過時，彥涵不舉手，并稱：“我不舉手就是不同意對我的處分決定，我有這個權(quán)利，盡管這是我最后的權(quán)利！”然后欠了欠身離去。此后，他還干了許多那個年代幾乎無人敢為的事，譬如叫他在“關(guān)于‘右派’分子彥涵的政治結(jié)論”上簽字，他不簽；叫他和艾青、丁玲等一起到北大荒改造，他不去：“我有胃潰瘍，要我到北大荒，等于要我死！”把他一個人下放懷來縣農(nóng)村，他還是拒絕：“我小兒子還只有10歲，老婆有病，要去一家人一起去，我不能眼睜睜妻離子散！”要他改個名字下放，他不答應(yīng)：“名字是我自己的，別人有什么權(quán)力讓我改？”而當(dāng)美協(xié)領(lǐng)導(dǎo)勸他：“下去好好改造，改造好了還可以回來”時，他竟然回答：“我當(dāng)然要回來了！”

如此應(yīng)對，在當(dāng)時的政治氣候下需要多大勇氣，后人已很難體會，絕大多數(shù)當(dāng)事者，不管內(nèi)心是否想得通，都不得不屈從。

如果當(dāng)年有更多人能像彥涵這樣，堅持說出自己的想法，不管要承受什么后果，也許整個局面就會有一點變化。這也正是他可貴之處。

下放到懷來后，彥涵倒是受到了當(dāng)?shù)仡I(lǐng)導(dǎo)私下的照顧，被安排到《懷來報》搞插圖。在此期間，仍有一批反映農(nóng)村生活的版畫陸續(xù)問世。

世事難料，彥涵態(tài)度如此強硬，卻是第一批脫帽的，并在隨后不久獲準(zhǔn)調(diào)入由周揚夫人蘇靈揚任院長的北京藝術(shù)師范學(xué)院美術(shù)系任教，蘇友善地向他提出是不是寫個報告“把過去的錯誤認(rèn)識一下重新入黨”（不知道其中有沒有周揚的意思），但涵彥執(zhí)拗地堅持：“我從來就沒有同意過開除我的黨籍，現(xiàn)在也不同意，所以重新入黨我不入，我要求恢復(fù)黨籍。”

此事也只好無果而終。

“文化大革命”開始，彥再次被揪出來，其罪行是為《劉志丹》插圖，毛澤東曾借康生的話稱這本書“利用小說進行反黨，是一大發(fā)明”，他無意間又撞到槍口上，進了牛棚，一待便將近兩年。

而就在工宣隊宣布可以每周回家一次時，他發(fā)現(xiàn)夫人白炎失蹤了。這位也是從延安走過來的老革命，在外文出版社工作，翻譯出版《收租院》時，把書中受劉文彩剝削的100多戶農(nóng)民誤寫成10戶，少了一個0，本來檢查之后就可以了結(jié)，但清理階級隊伍運動一來，她被揭出是大地主的女兒，丈夫又屬于“右派”，誰能保證不是居心叵測？于是被當(dāng)成典型，幾經(jīng)折磨后投入牢房。

1979年，彥涵的冤案總算得到平反，此后他放下刻刀，拿起油畫筆，給黑白世界加上了絢麗的色彩，繪畫語言也發(fā)生了很大變化。

生活的磨難使他的藝術(shù)得以脫胎換骨，有人稱彥涵完成了“從寫實的現(xiàn)實主義到抽象的現(xiàn)實主義過渡”，這與羅工柳晚期的變化幾乎一樣，其中早年藝專的教學(xué)發(fā)揮了多少影響，生活本身又起了什么樣的作用，是個值得研究的問題。