胡適小時候不信鬼神，但對孔夫子是崇拜的。他母親殷切地盼望兒子讀書成名，因此時常叮囑他要拜孔夫子。那時他們學堂里掛著孔夫子的畫像，每天放學都要對這位圣人行禮拜揖。有一次，胡適到他大姐家，看見外甥章硯香供著一個孔夫子神龕，做得十分精致，兩邊還貼著對聯(lián)，寫著“德配天地、道冠古今”一類的句子。胡適看了，心里非常羨慕，回到家里，他也自造了一座小神廟。他找來一只匣子，做圣廟大庭；又把匣子中間挖空一方塊，用個小匣子糊上去，作為圣廟的內(nèi)堂，堂上設了祭桌、神位、香爐等物；兩邊又增設了顏淵、子路等人的神位，各有一方小祭桌。兩旁貼有對聯(lián)，都是用金銀錫箔做成的匾對，色彩鮮艷。他母親見了，十分歡喜，專門給他一張桌子供這神龕，而且還給了一個銅香爐，每逢初一和十五，命胡適焚香跪拜。這座孔夫子的神龕，胡適離家后，他母親一直保存著，直到他留美回國返家時，仍然完好無缺。

胡適11歲時就能自己看古文了，老師教他看《綱鑒易知錄》和《御批通鑒輯覽》，前者有句讀，他還不感覺吃力，后者沒有，這就需要他用紅筆來斷句了，所以讀得慢一些。后來在他二哥的建議下，改點讀《資治通鑒》，為了便于記憶，他又動手編了一部《歷代帝王年號歌訣》。后來他說這是他“整理國故”的破土工作。由于胡適努力學習，再加上天資聰明，到12歲以后，他的學問差不多趕上老師了。塾師胡觀象也感覺到自己沒有能力再教他的書了，長此下去，怕貽誤學生，于是他決定向胡母提出辭職，請她另請高明。胡母再三央求，結(jié)果也未得其首肯，最后只得停學，另想辦法。

胡母一個人無處商量，暗自思忖，不讓他讀，這是違背他父親的“應該令他讀書”的遺命，讓他讀呢，又沒地方可去，真是左右為難。經(jīng)過一段時間的考慮，最后還是忍著心選擇了徽州人的老路，出外當學徒。俗話說：“前世不曾修，出世到徽州，養(yǎng)到12歲，爺娘把外丟?！蹦菚r，她的弟弟即胡適的舅父馮誠厚在涇縣(離上莊170里)恒升泰藥店當管事(經(jīng)理)，她就決定把兒子送去跟舅舅學生意。在親人照顧下，胡母也就放心了。不過經(jīng)過一段實際生活后，胡適對此工作不太感興趣，他就寫信給他在上海的二哥，要求繼續(xù)讀書。

1904年春，他二哥紹之由上?；丶?，與其母商議，認為胡適聰明伶俐，送去做學徒，實在可惜，況且父有遺命，不可違抗，于是他對胡母說；“嬸，我想帶臧弟到上海讀書，未知你放心嗎?”胡母說：“好，哥哥帶弟弟外出讀書，我哪有不放心的道理呢。”胡適就這樣從涇縣被招回來，準備行裝，跟他二哥到上海去讀書了。這是胡適人生道路上的一個關鍵性的轉(zhuǎn)變。胡適后來念念不忘，說他二哥是恩人之一。

胡適這次出門求學，不知何日得歸。他母親放心不下，所以在他離鄉(xiāng)之前，即1904年1月按家鄉(xiāng)風俗習慣為他訂了一門親事。對方是旌德縣江村人，與他家相距40里，名叫江冬秀，比他大幾個月，彼此沒有見過面。雖然如此，但后來胡適對此婚約，沒有提出異議，遵從母命，終成百年之好。