抗戰(zhàn)開始，他率校西遷，卻在1938年冬，不得不離開藝專。此中原委，據(jù)說與當(dāng)時(shí)進(jìn)了教育部的張道藩有關(guān)。張?jiān)趪⑺囆g(shù)院草創(chuàng)時(shí)就投奔而來，有一種講法稱看上了才貌兼?zhèn)涞牟掏?，但蔡對張并沒有興趣，當(dāng)時(shí)林風(fēng)眠也只給了他一個(gè)講師席位，未聘以教授，這兩點(diǎn)都讓張心存芥蒂。1933年，張任浙江省教育廳廳長時(shí)，藝專學(xué)生去請?jiān)福€動(dòng)手打過他，更加深了他與兩位林先生的隔閡，到了教育部后，即下手讓兩校合并后的國立藝專辭退了林文錚，繼而又逼走林風(fēng)眠。

離校后的林家老小隨難民來到昆明，其間歷盡艱辛。經(jīng)過半年奔波，才在西南聯(lián)大找到工作，林文錚教西洋文學(xué)史，蔡威廉教法文，租住在城內(nèi)破舊的民房里。

梁實(shí)秋曾在一篇名為《記蔡威廉女士》的文章中描述過當(dāng)時(shí)林家的境況：

到昆明來后，我們湊巧又成為鄰居，同住昆明北門街。問及時(shí)，方知兩夫婦都離開了藝專，失了業(yè)。其中經(jīng)過情形并不明白，但總覺得古怪。文錚或和朋友意見不合，放下學(xué)校事不干。蔡女士為人那么忠厚老實(shí)，對人幾乎可說從沒說過一句鬧別扭的話，對職務(wù)又那么熱心認(rèn)真，若非二三子有意作弄，她決不會(huì)從這個(gè)學(xué)校離開。當(dāng)時(shí)學(xué)校負(fù)責(zé)人，若稍微肯為這個(gè)學(xué)校著想，肯為藝術(shù)教育著想，蔡威廉女士本人即或要辭職，也一定會(huì)加以挽留，不許她離開?？墒撬谷浑x開了學(xué)校。且據(jù)朋友們傳說，生活情形在沅陵時(shí)即已經(jīng)很窘迫。

但與兩夫婦談及學(xué)校時(shí)，她竟一句話不說?？偤孟褙毟F是并不怎么可怕的，學(xué)校風(fēng)潮鬧下去，倒有點(diǎn)可惜。人家不要她教書，她還是可以自己作畫。為證明這點(diǎn)理想并不因離開學(xué)校而受挫折，墻壁上就貼滿了她為孩子們作的小幅精美速寫。

可是事實(shí)上隨之而來的生活自然也就有點(diǎn)麻煩了。房子那么小，大雜院那么亂，想安靜作畫是不可能的。初雇來的本地傭人照例不合適，做不上三天又走了，做主婦的就得為一家大小八口做飯。五個(gè)孩子雖然都很乖，大的是個(gè)女孩，家務(wù)事還能幫點(diǎn)小忙，提提水，爐子里加加松毛，拌和稀飯，最忙的自然還是主婦。并且腹中孩子已顯然日益長大，到四五月間即將生產(chǎn)。我進(jìn)出住處需從他們廚房樓下經(jīng)過，孩子們一見我必大聲招呼，我必同樣向這些小朋友一一答話。常?？吹竭@個(gè)做母親的，穿了件寬博印花布袍子，背身向外，在那小鍋小桌邊忙來忙去。聽我和孩子招呼時(shí)，就轉(zhuǎn)身對我笑笑，我心中總覺得很痛苦。生活壓在這個(gè)人身上，實(shí)在太重了，微笑就是一種無可奈何的表示。想用微笑挪開朋友和自己那點(diǎn)痛苦，卻辦不到。

我每天早晚進(jìn)出，依然同小朋友招呼。間或稱呼他家第三位黑而胖的小姐作“大塊頭”，問她爸爸媽媽好，出不出門玩。小孩子依然笑嘻嘻答應(yīng)“很好”?？墒乔皟商炻牸依锶苏f，才知道孩子的母親，在家生產(chǎn)了一個(gè)小毛毛，已死去3天了。

死的直接原因是產(chǎn)褥熱，間接原因卻是無書教、無收入，怕費(fèi)用多擔(dān)負(fù)不起，不能住醫(yī)院生產(chǎn)，終于死去。人死了，剩下一堆畫，6個(gè)孩子?！?/p>