麥迪遜同情法國(guó)大革命，認(rèn)為它是美國(guó)理想在整個(gè)世界的傳播。他認(rèn)為杰伊條約是對(duì)英國(guó)的屈從，反映了美國(guó)新政府的軟弱無(wú)能，美國(guó)將為此付出巨大代價(jià)，并導(dǎo)致美法關(guān)系惡化。他主張應(yīng)加快國(guó)內(nèi)經(jīng)濟(jì)建設(shè)的步伐，使國(guó)家獨(dú)立富強(qiáng)，在此基礎(chǔ)上發(fā)展與各國(guó)平等的經(jīng)濟(jì)和政治關(guān)系。

約翰·亞當(dāng)斯出任總統(tǒng)后，聯(lián)邦政府表現(xiàn)出明顯的黨派性，麥迪遜遂退職回鄉(xiāng)，專注于農(nóng)耕和擴(kuò)建房舍，盡享家庭生活的樂(lè)趣。當(dāng)他聞知政府通過(guò)了四項(xiàng)摧殘民權(quán)的法案時(shí)，認(rèn)為共和原則和人民的民主權(quán)利受到了嚴(yán)重威脅，遂重回政壇。

1798年，他起草了《弗吉尼亞決議案》，抨擊了《外僑法》和《懲治叛亂法》，指責(zé)亞當(dāng)斯政府實(shí)行政治專橫，違背了憲法的基本精神和民主原則。這一文件旨在保障公眾的權(quán)利免遭聯(lián)邦政府的侵害，麥迪遜既關(guān)注對(duì)州權(quán)的保護(hù)，同時(shí)又不是州權(quán)至上論者。在麥迪遜起草《弗吉尼亞決議案》的同時(shí)，杰斐遜起草了《肯塔基決議案》，反對(duì)聯(lián)邦黨人的倒行逆施。兩位老朋友密切配合吹響了反擊聯(lián)邦黨人“恐怖統(tǒng)治”的號(hào)角。

1799年，麥迪遜重返州議會(huì)，以實(shí)現(xiàn)他重建民主法治社會(huì)的構(gòu)想。這一時(shí)期，他團(tuán)結(jié)各州的民主力量，反對(duì)亞當(dāng)斯政府摧殘民權(quán)的政策，同時(shí)為杰斐遜當(dāng)選總統(tǒng)運(yùn)籌帷幄。

1801年杰斐遜出任總統(tǒng)后，把一批忠于共和原則且有能力的人充實(shí)進(jìn)政府，其中麥迪遜被委以重任——出任國(guó)務(wù)卿，阿爾伯特·加勒廷被任命為財(cái)政部長(zhǎng)。雖然他們個(gè)性迥異——杰斐遜是理想主義者，加勒廷是現(xiàn)實(shí)主義者，麥迪遜則是個(gè)中規(guī)中矩的實(shí)干家，但他們?cè)诠ぷ髦忻芮泻献?，形成了杰斐遜內(nèi)閣的三駕馬車(chē)。

在麥迪遜任國(guó)務(wù)卿期間，美國(guó)政府奉行孤立外交政策，大幅度精簡(jiǎn)了駐歐外交機(jī)構(gòu)，盡力避免卷入歐洲的紛爭(zhēng)。

1803年，美國(guó)用和平購(gòu)買(mǎi)的方式獲得了整個(gè)路易斯安納，使美國(guó)的領(lǐng)土面積擴(kuò)大了一倍，還設(shè)法解決北非海盜對(duì)美國(guó)商船劫掠的問(wèn)題。

此時(shí)美國(guó)仍是一個(gè)弱小的新生國(guó)家，尚無(wú)力保護(hù)自己的海上航運(yùn)，面對(duì)英法的海上侵?jǐn)_，外交努力又常常不能奏效。為了維護(hù)美國(guó)的中立國(guó)地位，麥迪遜草擬了《禁運(yùn)法案》，斷絕與歐洲的貿(mào)易。但這項(xiàng)措施對(duì)美國(guó)經(jīng)濟(jì)造成了損害，效果也不顯著。因此，當(dāng)公眾對(duì)該法普遍表示厭倦時(shí)，麥迪遜下令廢止了這項(xiàng)法令。

杰斐遜總統(tǒng)在卸任前的最后幾個(gè)月里處于半退休狀態(tài)，把國(guó)家政務(wù)交給麥迪遜和加勒廷處理。

總統(tǒng) 在1808年大選中，杰斐遜總統(tǒng)推薦年富力強(qiáng)的麥迪遜為接班人。在做出了廢除禁運(yùn)的承諾之后，麥迪遜得到了絕大多數(shù)選民的支持，最終順利當(dāng)選。