此舉不僅觸怒了阿肯色州的農(nóng)民階級，同時藍(lán)領(lǐng)階層也被惹惱了，所有需要應(yīng)付更高稅務(wù)的人們暴跳如雷，克林頓遭到了來自四面八方的攻擊。盡管克林頓已經(jīng)竭力善后，想出一些彌補(bǔ)措施，但這件事還是被共和黨人利用，添油加醋變成攻擊他的武器。這時候，希拉里的姓氏問題同樣也被別有用心地利用起來。他們拿出報紙上刊登的切爾西的出生啟示，上面的父母姓名分別是比爾·克林頓和希拉里·羅德姆。希拉里解釋說，這是為了彰顯她的自尊和獨立，“我只是為了證明我還是我自己”，這當(dāng)然是在她年輕時候就決定好的事，不過人們對此發(fā)出一陣譏笑，覺得這是奇怪而愚蠢的表現(xiàn)。這對克林頓的仕途造成了嚴(yán)重的影響，負(fù)責(zé)社論的漫畫家們將克林頓畫成了一個小孩子，畫中他騎著一輛幼稚的三輪車，標(biāo)題叫做“寶貝”。

這件事本來并沒有讓克林頓夫婦感到不堪承受，直到他們發(fā)現(xiàn)此事的背后操縱者是吉米·卡特時，他們立刻感到無法言說的痛苦。克林頓夫婦一直是忠心耿耿地效忠于他的，尤其是希拉里，在1980年民主黨競爭總統(tǒng)候選人時，卡特和肯尼迪成為了對手，民主黨中大部分人都支持肯尼迪，不管朋友們怎么勸說，希拉里還是堅定不移地支持卡特。

不久后發(fā)生的馬里爾偷渡事件，卡特更是給了克林頓致命一擊。在這次偷渡事件當(dāng)中，美國佛羅里達(dá)州一共涌入了10萬名古巴難民，卡特下令將他們關(guān)進(jìn)了4座軍營中，而其中的1.8萬人被關(guān)進(jìn)了阿肯色州的查菲堡軍事基地。剛開始克林頓表現(xiàn)得不錯，他公正嚴(yán)明地下達(dá)各種指令，但6月1日，難民發(fā)生暴亂，1000多名難民沖出了軍事基地。這次暴亂實際上軍方應(yīng)負(fù)更大責(zé)任，因為他們沒有認(rèn)真負(fù)責(zé)地維持秩序。但克林頓的形象立刻受到了影響，卡特火上澆油地截取了一些照片，這些照片容易令人想到克林頓是個無政府主義的支持者。情況依舊在惡化中，克林頓要求卡特不要再往查菲堡基地輸送難民，當(dāng)時卡特也答應(yīng)了，但不久他出爾反爾。8月1日，卡特下令將關(guān)押在佛羅里達(dá)、賓夕法尼亞和威斯康星的難民全都送往查菲堡基地?？肆诸D非常惱火，他立即表示抗議，但這已經(jīng)太遲了。

在此事中，希拉里比克林頓看得更清楚，她感到他的競選可能要失敗了，盡管在民意調(diào)查中克林頓仍占優(yōu)勢，她立刻請求迪克·莫里斯竭力挽救。但局勢已定，在選舉時，克林頓只獲得了48%的選票，而對手比他高出4%—他輸?shù)袅诉x舉?？肆诸D好像被徹底打垮了，他生氣全無，在承認(rèn)選舉失敗的演講中也垂頭喪氣，最后他只能讓希拉里代替他完成演講。希拉里得體地向現(xiàn)場所有的媒體和支持者們表示感謝和歉意，最后還邀請他們次日清晨到州長府邸參加辭別集會。她回憶起那次集會時說：“那簡直就是一場守靈！”