1966年，由大陸掀起的“文革”風(fēng)暴漫延到香港，一些“另類(lèi)”分子聞風(fēng)而動(dòng)，開(kāi)始按照大陸的模式打砸搶燒，制造動(dòng)亂。作為被毛澤東在《丟掉幻想，準(zhǔn)備斗爭(zhēng)》雄文中點(diǎn)名痛斥過(guò)的“胡適、傅斯年、錢(qián)穆”之流的錢(qián)穆，自然受到?jīng)_擊。在危難之際，貓?jiān)谂_(tái)北靜觀事態(tài)發(fā)展的蔣介石伸出了援手，邀請(qǐng)錢(qián)氏夫婦赴臺(tái)安居并從事力所能及的學(xué)術(shù)工作。1967年10月，錢(qián)、胡夫婦以歸國(guó)學(xué)人的身份自港赴臺(tái)。蔣介石令蔣經(jīng)國(guó)拜錢(qián)穆為師，學(xué)習(xí)治國(guó)之學(xué)。

錢(qián)氏夫婦抵臺(tái)后暫住臺(tái)北“自由之家”，不久租居于臺(tái)北金山街，并著手準(zhǔn)備在臺(tái)北自建住房。為此，胡美琦拋掉了香港匯豐銀行的股票作為建房之款。經(jīng)過(guò)踏勘，最終選定在翠林幽谷的外雙溪建樓，并由胡美琦親自設(shè)計(jì)繪制了圖紙。想不到此事被蔣經(jīng)國(guó)得知，小蔣立即來(lái)到錢(qián)家拍著胸脯說(shuō)：“這區(qū)區(qū)小事，老師不必費(fèi)心，由我來(lái)辦好了。”遂從胡美琦手中要過(guò)圖紙，交給陽(yáng)明山管理局有關(guān)人員辦理。未久，在外雙溪一座小樓拔地而起，這便是著名的素書(shū)樓。同年，錢(qián)穆膺選“中研院”院士。愛(ài)情、事業(yè)、名聲等等，凡人生所追求者，錢(qián)氏皆有所得，這是其一生的顛峰時(shí)刻。

悠忽二十年過(guò)去，蔣氏夫子先后駕鶴西去，錢(qián)穆的素書(shū)樓起了風(fēng)波。

1989年，時(shí)任臺(tái)北市議員的周伯倫，指稱(chēng)時(shí)任“總統(tǒng)府資政”的錢(qián)穆“非不占用市產(chǎn)”。因?yàn)樗貢?shū)樓是當(dāng)年蔣經(jīng)國(guó)委托陽(yáng)明山管理局所建，產(chǎn)權(quán)當(dāng)屬臺(tái)北市政府。如今兩蔣的“威權(quán)時(shí)代”已經(jīng)過(guò)去，錢(qián)氏就能再依仗國(guó)民黨的權(quán)勢(shì)“非法霸占公共財(cái)產(chǎn)“，必須遷出素書(shū)樓，還歷史和臺(tái)灣人民一個(gè)公道。

當(dāng)此之時(shí)，一個(gè)叫陳水扁的“立法委員”聞聽(tīng)，立即呈猴狀于花果山上蹦起來(lái)大造輿論，以書(shū)面質(zhì)詢(xún)方式強(qiáng)烈要求臺(tái)北市政府收回素書(shū)樓，并對(duì)國(guó)民黨領(lǐng)袖的新任“總統(tǒng)”李登輝裝憨擼人、保持沉默表示強(qiáng)烈不滿(mǎn)。在一片吵鬧聲中，也有人站出來(lái)指責(zé)阿扁這只彌猴不仁不義，謂素書(shū)樓是當(dāng)年蔣氏夫子的特意安排，說(shuō)“非法”還沾邊，但說(shuō)“霸占”根本談不到。又經(jīng)過(guò)幾番吵鬧，陳水扁重新調(diào)整戰(zhàn)略戰(zhàn)術(shù)，決定以奇制勝，于是弄出了一個(gè)臊招：錢(qián)穆搬出后，可把素書(shū)樓改為“錢(qián)穆紀(jì)念館”。

錢(qián)穆聞聽(tīng)，憤然嘆道：“我活著不讓我住，我還沒(méi)有死就建紀(jì)念館，這是那家的邏輯？”

最終，在陳水扁等人的圍攻夾擊叫罵下，時(shí)年95歲、雙目失明的錢(qián)穆，被迫于1990年6月1日遷出居住了27年的素書(shū)樓，在臺(tái)北市杭州路辟屋居住。

1990年8月30日，心情郁悶的錢(qián)穆于一個(gè)風(fēng)雨交加的黎明病逝于新辟的寓所。

根據(jù)錢(qián)氏的遺愿，1991年1月，未亡人胡美琦把其夫的骨灰葬于無(wú)錫太湖之濱的石皮山，算是落葉歸根，魂歸故土。