蔡威廉難產(chǎn)生下女?huà)牒蟛痪?，即在床前的白壁上用鉛筆畫(huà)出新生女兒的肖像，并寫(xiě)上“國(guó)難！家難！”遂成絕筆。

愛(ài)妻病逝對(duì)林文錚是個(gè)沉重打擊。也就在此前此后，他皈依佛門，入了“紅教”（喇嘛教中的一支）。

林文錚在昆明共待了7年，其間一度也失業(yè)，靠賣文與變賣家產(chǎn)度日。

抗戰(zhàn)勝利后，他到廣州任中山大學(xué)外文系主任。據(jù)梁實(shí)秋在另一篇文章中說(shuō)：此時(shí)的林“好佛，他的單人宿舍是一間臥室一間佛堂，常于晚間作法會(huì)，室為之滿。林先生和我一見(jiàn)如故，謂有夙緣，從此我得有機(jī)會(huì)觀經(jīng)看教，但是后來(lái)要為我‘開(kāi)頂’，則敬謝不敏”。

當(dāng)初林遵循蔡先生的意愿，是試圖“以美育代宗教”的，看來(lái)這種替換在他自己身上就未能實(shí)現(xiàn)。

一直到20世紀(jì)40年代底，林家始終為貧困籠罩，有錢買米、無(wú)錢買菜是常事。

新中國(guó)成立后，1953年全國(guó)高校院系調(diào)整，他被調(diào)到南京大學(xué)任教授，教外國(guó)文學(xué)史。

1957年，“反右”之前的大鳴大放中，他因說(shuō)了若干真話而成為按人民內(nèi)部矛盾處理的“敵對(duì)分子”。如果說(shuō)這算逃不過(guò)的命運(yùn)，那么其后因“反動(dòng)會(huì)道門頭目”被拘，判重刑20年，即便在當(dāng)時(shí)亦十分罕見(jiàn)，而所謂罪行，據(jù)說(shuō)只是他數(shù)十年如一日仍在按密宗方式焚香誦經(jīng)。這本來(lái)是一種私密行為，但當(dāng)階級(jí)斗爭(zhēng)的弦繃得越來(lái)越緊時(shí)，鄰居大媽的“政治覺(jué)悟”都提高了，覺(jué)得此類做法非同尋常，聯(lián)系到老先生右派身份就更令人生疑了，有人經(jīng)居民委員會(huì)和街道辦事處干部再進(jìn)一步向上檢舉，經(jīng)過(guò)審理，乃以“鐵證如山的裝神弄鬼”獲罪。

林文錚入獄后一年，馬嶺山房被政府代管，住進(jìn)了7戶人家，至于他花費(fèi)幾十年心血積累起來(lái)的寫(xiě)作資料、詩(shī)稿、書(shū)籍都被保姆的兒子當(dāng)作“廢紙”賣掉了。

1968年，當(dāng)時(shí)借居在廣州的林文錚再婚妻子連棣貞，因反革命家屬身份，被揪斗、游街、關(guān)押，受盡折磨、不得已與他辦了離婚手續(xù)。從此，她精神上的創(chuàng)傷難以愈合，得了抑郁癥，兩年后不治身亡。

林文錚被囚禁在南京監(jiān)獄，有個(gè)時(shí)期患肝炎，體重一度下降至70斤。靠著堅(jiān)強(qiáng)的毅力和自信度過(guò)漫長(zhǎng)艱難的日子。他自己掏錢買了法文版《毛澤東選集》與馬克思的《資本論》閱讀，以期有一天能用知識(shí)再為社會(huì)服務(wù)。

1975年，出版部門要把魯迅著的《中國(guó)小說(shuō)史略》譯成法文，找不到合適人選。最后經(jīng)中央領(lǐng)導(dǎo)批準(zhǔn)，特許林文錚在獄中翻譯。

1976年春，他刑滿出獄，從牢里帶出的物品中，有一條床單是用數(shù)十塊包裹布縫制而成的，成了往昔歲月的紀(jì)念。

晚年林文錚仍做些文字工作，但與美術(shù)已很少有關(guān)系。有一次研究美院校史的鄭朝找到他，請(qǐng)他確認(rèn)自己早年寫(xiě)的文章，不知道是真的記憶已經(jīng)模糊，還是下意識(shí)中不愿面對(duì)過(guò)去，他不無(wú)凄婉地問(wèn)女兒：這是我年輕時(shí)寫(xiě)的嗎？

1989年，林文錚因貧血癥逝世。家屬按其遺愿處理了喪事，遵教規(guī)一切從簡(jiǎn)，沒(méi)有開(kāi)追悼會(huì)。