麥迪遜是在祖父留下的蒙彼利埃種植園里長大的。這里大約有二千公頃土地，水草豐茂，田園秀麗，遠(yuǎn)處可以望到蒼翠的藍(lán)嶺山脈，環(huán)境十分宜人。麥迪遜一生為公務(wù)而奔波，同時(shí)也經(jīng)常在此享受恬靜的田園生活，這不僅使他換取了身心的健康，也培養(yǎng)了他對土地和土地勞動(dòng)者的深厚感情。同“煙草殖民地”弗吉尼亞的其他種植園一樣，蒙彼利埃種植園也是依靠奴隸種植煙草作為主業(yè)，每年都有大批煙草從這里運(yùn)往市場。盡管如此，麥迪遜從少年時(shí)起就對奴隸制抱厭惡態(tài)度。麥迪遜對童年時(shí)代的記憶很淡薄，但有兩件事在他幼小心靈的深處留下創(chuàng)痛：天花的流行和對法國、印第安人的戰(zhàn)爭（1755～1762）。當(dāng)時(shí)的人們經(jīng)常恐懼地議論可能來臨的印第安人的襲擊，這使得麥迪遜對印第安人抱有某些偏見。

父母對麥迪遜的教育頗為重視，再加上他身體虛弱，所以他的啟蒙教育是由父母在家中進(jìn)行的。十一歲時(shí)，父親送他到名師唐納德·羅伯遜的學(xué)校就讀，主要學(xué)習(xí)數(shù)學(xué)、地理、文法和拉丁文等科目。羅伯遜先生的治學(xué)態(tài)度雖有幾分刻板，但十分嚴(yán)謹(jǐn)，講求實(shí)效，五年的學(xué)習(xí)生涯使得麥迪遜終生獲益。16歲時(shí)，麥迪遜又拜托馬斯·馬丁牧師為師，在學(xué)習(xí)人文和自然科學(xué)的同時(shí)，他還認(rèn)真研究了神學(xué)。1769年，他進(jìn)入了普林斯頓的新澤西學(xué)院。在這里，麥迪遜讀書、交友、娛樂，生活豐富多彩，充滿情趣。他學(xué)習(xí)的范圍十分廣泛，涉獵過自然科學(xué)和社會科學(xué)的許多領(lǐng)域，尤其擅長演說，這為他后來從事政治活動(dòng)提供了便利。他酷愛讀書，經(jīng)常手不釋卷，特別喜歡讀洛克、伏爾泰、孟德斯鳩等著名啟蒙思想家的作品，深受啟蒙思想的影響。他大學(xué)時(shí)代的幾位密友大都才華橫溢，抱負(fù)遠(yuǎn)大，后來成為美國獨(dú)立和建國時(shí)期的風(fēng)云人物，其中菲利浦·弗雷諾后來成為優(yōu)秀的詩人；威廉·布雷德福在政治上初露頭角早于麥迪遜，曾出任美國第2任司法部長。

在業(yè)余時(shí)間，麥迪遜喜歡散步、騎馬、欣賞大自然的景色，也喜歡下棋。他還是一位出類拔萃的社會活動(dòng)家，顯示出天才的鼓動(dòng)性和組織才能。他還養(yǎng)成了做事情有條不紊的習(xí)慣，看不起那些不遵守社會規(guī)則的人。有時(shí)也搞點(diǎn)惡作劇，但由于他一貫品學(xué)兼優(yōu)，后來院長在回首往事時(shí)說，麥迪遜“從未做過或說過任何不妥的事”。由于學(xué)習(xí)勤奮，刻苦鉆研，麥迪遜只讀了兩年大學(xué)就獲得文學(xué)學(xué)士學(xué)位，提前畢業(yè)，并留校隨院長約翰·威瑟斯龐進(jìn)行神學(xué)和希伯來文法方面的研修。

1772年春，麥迪遜因病棄學(xué)返鄉(xiāng)。父親希望他承擔(dān)起種植園的管理和經(jīng)營工作，發(fā)展和擴(kuò)大祖上留下的產(chǎn)業(yè)。但青年麥迪遜另有凌云壯志，他決心繼續(xù)在法律和政治等領(lǐng)域進(jìn)行研讀，為將來在政治舞臺上施展才華打下堅(jiān)實(shí)的基礎(chǔ)。