在“五四”一代學(xué)者中，潘光旦對書的癡迷世所公認(rèn)。

潘光旦幼小時(shí)家境殷實(shí)，其父潘鴻鼎曾為清末進(jìn)士，思想開明，對子女身教多于言傳，因而兒時(shí)的潘光旦就耳濡目染了家族刻苦讀書、報(bào)效家國的好學(xué)家風(fēng)。

潘光旦的母親在教育兒女時(shí)也非常嚴(yán)格，尤為注重讀書好學(xué)的家風(fēng)傳承。有一年，潘家被迫舉家逃往上海，潘光旦的母親不帶金銀細(xì)軟，只身帶著三個(gè)兒子和四擔(dān)子書前往上海，在潘光旦母親的心中，潘家的子女什么都可以不要，但不能不要書。潘家對讀書的崇尚之風(fēng)在兒時(shí)的潘光旦的心靈中打上了深深的烙印，潘光旦后來無論是求學(xué)，還是做學(xué)術(shù)研究，始終保持著對書的摯愛，甚至到了癡迷的程度，顯然是深受潘家好學(xué)家風(fēng)的影響。

1913年，14歲的潘光旦遵父囑托，走進(jìn)了清華學(xué)校。在清華讀書時(shí)，潘光旦極為刻苦，甚至在寒暑假期間都訂好讀書計(jì)劃，比如假期有多長時(shí)間，該看什么書等等，安排得井井有條，毫不懈怠。那時(shí)清華學(xué)校有“留美預(yù)備學(xué)?！敝Q，英語教習(xí)是學(xué)校教學(xué)的核心，無形中對中文學(xué)習(xí)有所忽視。正因如此，潘光旦決定要在課余時(shí)間，特別是寒暑假時(shí)把中文學(xué)好。在清華學(xué)習(xí)的9年間，潘光旦除英語水平出類拔萃外，他還利用了兩年的暑假專攻中文書，為自己打下了深厚的中文功底。

潘光旦眼睛高度近視，又因用眼過度，適值壯年的他不幸患上了視網(wǎng)膜萎縮癥，眼睛經(jīng)常充血，有時(shí)甚至一連好幾天都無法看書。即便這樣，嗜書的潘光旦依舊癡性不改，眼疾稍有緩和，便又開始沉浸于書的世界。那時(shí)的潘光旦有一套五局本“二十四史”，他埋頭看書，因離書太近，以至于鼻子都被染黑，連他的小女兒都戲說：爸爸在舔書呢。在赴美留學(xué)期間，好學(xué)的潘光旦反復(fù)研讀隨身攜帶的一部《十三經(jīng)注疏》，幾近爛熟，無形中奠定了他貫通中西的學(xué)術(shù)基礎(chǔ)。北京淪陷敵手時(shí)，他滯留北平月余，在這段時(shí)間里，潘光旦有把500余冊古籍再度瀏覽一遍，并將有用的資料記存。晚年的潘光旦對書的嗜好依舊是癡心不改，一天之中，除去吃飯睡覺，其余的大部分時(shí)間都與書為伍。潘光旦嗜書好學(xué)如此，在與其同時(shí)代的學(xué)者中實(shí)屬罕見。

潘光旦對書的嗜好不僅在于“讀”，還在于“買”，在于“藏”上。潘光旦在美求學(xué)時(shí)曾看到一部《達(dá)爾文文集》，他愛不釋手，在學(xué)成歸國前，嗜書的潘光旦不顧囊中羞澀，幾近傾其所有，買了這部書。解放后，中國政府在處理中印邊界問題時(shí)，需要邊境史料，周恩來總理親自寫信給潘光旦，提出借用他收藏的《不列顛百科全書》（第11版），這段家國書緣一時(shí)間傳為佳話。潘光旦個(gè)人一生藏書達(dá)萬余冊，可謂坐擁書城，其中不乏像《達(dá)爾文文集》這樣的稀世珍品，但潘家人從不據(jù)為己有，后來這些藏書除他的女兒們各留一套以資紀(jì)念外，其余藏書全都捐給了中央民族大學(xué)圖書館。

正由于嗜書成性，涉獵廣博，才造就了潘光旦這樣的“通才”學(xué)者。潘光旦本是學(xué)自然科學(xué)出身，但卻能融匯中西，貫通自然、社會(huì)兩大科學(xué)體系。在性心理學(xué)、社會(huì)思想史、家庭制度、優(yōu)生學(xué)、人才學(xué)、民族歷史和教育思想等領(lǐng)域都造詣不凡，著有《中國家庭之問題》《優(yōu)生概論》《人文史觀》等論著多種，被人評為“學(xué)貫中西，融匯古今，打通文理”的一代鴻儒。