長期以來，美國商船經(jīng)常遭到北非海盜的劫掠，損失慘重，美國政府不得不以贈款、贖金等形式向他們行賄，以尋求商路暢通。史密斯任海軍部長后試圖改變這一局面，支持派海軍赴地中海保護美國商船的安全，并通過簽訂和約的方式打開了這條重要的貿(mào)易通道。

為了維護美國的中立國地位，國會通過了《禁運法案》，連續(xù)實施了一年多的時間。史密斯認為該法不足以解決美國面臨的外交困境，并有損于美國的對外貿(mào)易和美法關(guān)系，但仍認真履行了使命，因為他認為美國的主權(quán)和尊嚴必須得到維護。后經(jīng)商議，美國政府宣布廢除不交往法，提出：如英法之中任何一國改變其做法，美國就與該國交好，并對另一國重施不交往法。法國對此做出了積極的反應，于是美國與之恢復正常貿(mào)易，對英國實施了貿(mào)易懲罰措施，但效果不甚明顯。史密斯還多次與英國交涉，以期通過外交途徑解決兩國間懸而未決的問題，從而平息兩國的海上沖突。但由于種種復雜的原因，美英之間的矛盾沖突愈演愈烈。

國務(wù)卿 鑒于史密斯在內(nèi)閣中的出色表現(xiàn)和不凡的能力，詹姆斯·麥迪遜出任總統(tǒng)后委任他為美國第6任國務(wù)卿。此事竟播下了內(nèi)閣不和的種子，因為史密斯與財政部長加勒廷積怨甚深，而后者則是總統(tǒng)最親密的朋友和助手。

史密斯就職不久便參加了反對加勒廷的活動，與部分反對財政部長的議員結(jié)成了政治幫派。這一分裂很快公開化，就連加勒廷和史密斯的妻子也在公開場合發(fā)生了爭吵。后來，麥迪遜與史密斯之間在一系列對外政策問題上表現(xiàn)出嚴重分歧，特別是在對英法兩國的態(tài)度的問題上，總統(tǒng)主張繼續(xù)執(zhí)行前總統(tǒng)杰斐遜的既定政策，而史密斯則傾向于與英國人交往和通商，反對對英國實施不交往法，在一些場合表達了自己的不滿情緒。結(jié)果麥迪遜對史密斯完全失去了信任，經(jīng)常越過史密斯直接插手國務(wù)院事務(wù)，有時，關(guān)于外事問題的決定竟然是總統(tǒng)在財政部長的辦公室里做出的。而加勒廷則用辭職向總統(tǒng)施加壓力，要求將史密斯趕出內(nèi)閣。加勒廷是麥迪遜最信任的內(nèi)閣成員，為了挽留住加勒廷，麥迪遜答應了這一要求。因此在這場內(nèi)部斗爭中，史密斯最終成了犧牲品。

一天，總統(tǒng)與史密斯做了一次長談，在指出他犯下的一系列過失后，要求他辭去國務(wù)卿職務(wù)，改任駐俄國公使。史密斯起初同意了，但事后認為這是一場“陰謀”，因此，他用拒絕出面迎接俄國官方代表團的方式，回絕了總統(tǒng)的任命。此后，史密斯收集了大批證據(jù)，揭露抨擊他的政敵。

1811年5月，羅伯特·史密斯返回巴爾的摩，一方面重操律師業(yè)務(wù)，一方面繼續(xù)從事政治活動，并著書立說，回顧自己的政治生涯。但他再也未能重返聯(lián)邦的政治大舞臺。晚年的史密斯仍然十分活躍，頻繁出沒于各種社交場合，以不同的身份在各種社會團體和實業(yè)界服務(wù)。

1842年11月26日，羅伯特·史密斯病逝于馬里蘭州巴爾的摩，享年八十五歲。