麥迪遜遵循了其前任創(chuàng)下的慣例，沒有謀求第三次當(dāng)選總統(tǒng)，指定詹姆斯·門羅作為他的政治繼承人，競選第5任美國總統(tǒng)。選民們對麥迪遜的政績大力贊揚并大力支持門羅順利當(dāng)選。

晚年生活 卸任后，麥迪遜回到養(yǎng)育了他的蒙彼利埃，決心全面退出政壇。他一面讀書、寫信、會友，一面致力于農(nóng)場的科學(xué)化經(jīng)營。他要建立一座全國第一流的農(nóng)場，其目的：一是要使晚年生活過得更加充實，二是要填補幾年來農(nóng)場經(jīng)營不善的虧空，另外要償還不爭氣的繼子欠下的債務(wù)。

與杰斐遜一樣，麥迪遜對教育事業(yè)十分熱心，贊同并參與創(chuàng)建弗吉尼亞大學(xué)，出任該校董事會的董事，杰斐遜去世后接任該校校長。與此同時，他還進行研究和寫作，整理自己在各個歷史階段所寫的論文。

1829年，麥迪遜出席了弗吉尼亞憲法會議，擔(dān)任聯(lián)合主席。該會議的使命是修訂州憲法。這是麥迪遜卸職后公開參加的唯一一次政治活動，足見其對法制建設(shè)事業(yè)的高度關(guān)注。

麥迪遜始終捍衛(wèi)他所參與創(chuàng)建的聯(lián)邦及其憲法。為此，他在晚年卷入了一場爭論：南方人認為，各州有權(quán)宣布聯(lián)邦法令違憲而無效，并可以和平地退出聯(lián)邦。麥迪遜公開駁斥了這種觀點，他否認了南方人主張擁有的這些權(quán)利的合法性并指出他從未有過把聯(lián)邦權(quán)力授予各州的主張。

麥迪遜是個大種植園主，但他對奴隸制持否定的態(tài)度，一貫認為：長期保持奴隸制會破壞聯(lián)邦。但他的主張是溫和的：逐步解放黑奴，將他們移殖到國外。他退休后仍然堅持這一主張，對美國殖民協(xié)會的建設(shè)工作給以極大的關(guān)注。

麥迪遜是開國元勛中最長壽的人之一，親眼目睹了工業(yè)革命在美國創(chuàng)造出的各種奇跡，看到了美國經(jīng)濟的繁榮和疆域的迅速擴展，同時也看到了由于黑奴制問題所導(dǎo)致的國內(nèi)爭端。而且，他的晚年生活陷入困頓，不得不出賣了一部分地產(chǎn)和重要的歷史文件。

1836年6月28日，麥迪遜在親屬的圍繞下與世長辭，葬于祖父留下的莊園的家族墓地。他的墓碑上只刻有他的姓和生卒年月，其質(zhì)樸無華與墓主人的風(fēng)格十分吻合。