不簽字，中國可能喪失更多權(quán)益；簽字，則淪為賣國賊。盡管徐世昌沒有被推到風(fēng)口浪尖，但他仍然感到了作為民國大總統(tǒng)的無奈——究竟是時局使然，還是自己能力不足，徐世昌越來越搞不清楚。

不久之后，受美、英支持的直系軍閥與奉系軍閥矛盾激化，雙方為了奪取北京政權(quán)爆發(fā)了兩次大規(guī)模的戰(zhàn)爭，最后以直系軍閥獲勝、兩派議和結(jié)束。讓徐世昌感到悲哀的是，當(dāng)初自己在馮、段之爭中被推上中華民國大總統(tǒng)的位置，今天，當(dāng)直系曹錕、吳佩孚控制北京政府之后，自己又被指責(zé)“不合法”。1922年5月，各方呼吁徐世昌辭去大總統(tǒng)職位，31日，六十八歲的徐世昌通電全國，表示愿意束身退位，結(jié)束了自己五年的大總統(tǒng)生涯。

盡管對大總統(tǒng)之位仍有些許眷戀，但對文人徐世昌來說，辭去大總統(tǒng)之職更多的是解脫。去職之后，徐世昌搬到天津租界居住，不再參與政治，著書立說，吟詩作畫，真正過上了“大隱隱于市”的生活。

徐世昌一生著作等身。他將自己從政以來的奏議、說貼、條議、電文等分類歸納，編輯成《退耕堂政書》五十五卷，是晚清到民國初期極具價值的文獻(xiàn)資料。除此之外，他還根據(jù)自己的經(jīng)驗編纂《東三省政略》、《歐戰(zhàn)后之中國》、《大清琨輔先哲傳》、《書髓樓藏書目》等書，“隱居”之后，在僚友門客們的協(xié)助下編纂書籍二十余種。

除了著書立說，徐世昌在詩詞、作畫方面也有很高的造詣。他作詩以明志，有《徐大總統(tǒng)詩集》十二卷，還將自己的詩、書、畫作編纂成冊，有《歸云樓題畫詩》六卷、《歸云樓集》十六卷、《退園題畫詩》十六卷、《葵園詩草》四卷、《海西草堂集》二十四卷、《海西草堂題畫詩》六卷、《揀珠錄》二冊，這些詩畫具有較高的藝術(shù)水平，徐世昌的為人、修養(yǎng)也在其中展現(xiàn)得淋漓盡致。

隱居后的徐世昌并非兩耳不聞窗外事，而是一直關(guān)注時局變化。1931年九一八事變后，徐世昌對政治的關(guān)注更加密切。當(dāng)他聽說西安事變蔣介石同意停止內(nèi)戰(zhàn)、一致對外后，曾不無擔(dān)憂地表示蔣介石“可能只是權(quán)宜之計，過后未必算數(shù)”。1937年，天津淪陷，這年冬天，徐世昌曾經(jīng)的得意門生金梁、章祲突然造訪，勸說徐世昌出山和日本定立“親善條約”，遭到徐的痛斥。第二年春，日本大特務(wù)土肥原賢二企圖約見徐世昌，再次遭到拒絕。1938年冬，徐世昌膀胱癌病重，醫(yī)生提議讓徐轉(zhuǎn)到北京醫(yī)院進(jìn)行手術(shù)，徐擔(dān)心路上遭日本人暗算，沒有答應(yīng)，第二年6月，八十四歲的徐世昌在憂憤中離世，遵照他的要求，子女們把他安葬在輝縣老家，僅豎碑為記。