1786年，倫道夫代表弗吉尼亞出席了安納波利斯會議。此會議名為討論州際貿(mào)易問題，但其主旨卻在于修改《邦聯(lián)條例》，在亞歷山大·漢密爾頓和詹姆斯·麥迪遜的積極游說下，會議決定再召開一個關(guān)于制憲的諸州會議。倫道夫?qū)@一行動表示支持。

同年，倫道夫被選為弗吉尼亞州州長，為處理州務(wù)而日夜操勞。他行事穩(wěn)健，善于協(xié)調(diào)各種利益和矛盾，因此任州長期間未發(fā)生什么大的風波。其時，制憲運動正在各地蓬勃發(fā)展，倫道夫是弗吉尼亞制憲運動的積極推動者。當?shù)弥獑讨巍とA盛頓對是否參加制憲會議抱猶豫態(tài)度時，倫道夫與麥迪遜共同前去做工作。3月28日，華盛頓寫信給倫道夫，表示接受他的建議。后來，華盛頓在制憲會議上發(fā)揮了不可替代的作用，倫道夫?qū)Υ斯Σ豢蓻]。

在著名的1787年制憲會議上，倫道夫作出了較大的貢獻。5月29日，他向會議宣讀了“弗吉尼亞方案”，成為會議討論的基礎(chǔ)。其主要內(nèi)容是：設(shè)立兩院制議會，議員按人口比例向各州分配名額，聯(lián)邦行政部門由議會選出等。該方案雖然代表了大州的利益，但包含了不少真知灼見，對《聯(lián)邦憲法》的制定工作產(chǎn)生了巨大影響。在隨后開展的批準新憲法的運動中，他與杰斐遜的觀點同出一轍，要求對憲法的內(nèi)容加以充實完善，即把一些基本的民主權(quán)利列入憲法。此后，倫道夫積極參與了這場運動。

父親病故后，倫道夫繼承了一筆相當可觀的家族遺產(chǎn)（包括田產(chǎn)和奴隸），但同時，父親也給他留下了一筆不小的債務(wù)。為了還上這筆債務(wù)，他花費了很多年的時間，但由于他十分珍視祖上傳下來的產(chǎn)業(yè)，因此拒絕了讓他出賣遺產(chǎn)的所有建議。

議員、司法部長 倫道夫是律師出身，因此對法制建設(shè)十分關(guān)注，主張建立一個民主和法治的共和國。當他發(fā)現(xiàn)州長是個“忙碌而平庸”的職位，不能真正實現(xiàn)他的主張時，便辭去這一職務(wù)，通過激烈的競選進入了州議會，以期在立法工作中實現(xiàn)他的政治理想。他的這一舉動令當時的許多政界人士感到意外。

但倫道夫在弗吉尼亞議會工作的時間并不長，由于他在法律事務(wù)上表現(xiàn)出的熱情和才華，加上與總統(tǒng)的私人關(guān)系，1789年9月被任命為聯(lián)邦司法部長。作為第一任司法部長，他在美國的法制建設(shè)方面做了大量奠基性的工作。例如，他主持了創(chuàng)建美國司法制度的工作，努力通過立法途徑保護各項自由權(quán)利，幫助總統(tǒng)起草了許多重要文件，他還與一些政治家一起抵制國家銀行。

國務(wù)卿 1793年12月31日，托馬斯·杰斐遜由于厭惡漢密爾頓的政治專橫而辭職，華盛頓斟酌再三，將國務(wù)卿的重任委托給倫道夫。此時，美國政壇上黨爭驟起，倫道夫雖然觀點與杰斐遜相近，但試圖左右逢源，結(jié)果卻遭到了兩派的詆毀和詰難，在夾縫中處境尷尬，任職期間政績平平。