《瀛環(huán)志略》一出版，便在社會上引起軒然大波。徐繼　自稱是“甫經(jīng)付梓，即騰謗議”。書中對西方世界的敘述和評論招致了封建權(quán)貴的彈劾討伐，就連曾國藩都認(rèn)為“徐松龕中丞著書，頗張大英夷”。

1850年，徐繼畬因為英國兩名傳教士租賃神光寺屋一事遭到在福州養(yǎng)病的林則徐等人彈劾，終因言官彈劾勢重，于1851年被革職回京，降職位太仆寺少卿，一個類似副弼馬溫的養(yǎng)馬閑差。1852年，吏部追查徐繼畬在巡撫任內(nèi)逮捕罪犯延遲一事，徐繼畬因此被徹底罷官，回到山西故里。

徐繼畬作為福建巡撫，一個相當(dāng)于今天的福建省長的清朝大員因這么一件小事就被免職，與咸豐皇帝繼位前后清政府內(nèi)的強硬派重占了上風(fēng)的背景息息相關(guān)，道光后期失寵的林則徐就是被當(dāng)作為一張硬牌來使用的。徐繼畬的《瀛環(huán)志略》讓他成了清廷許多強硬派官員眼中“投降派”的代表人物，被批“稱頌夷人，獻媚夷酋”。

然而，徐繼畬及其《瀛環(huán)志略》的影響是深遠的，《瀛環(huán)志略》首先在當(dāng)時的一些士大夫和有識之士中造成很大的影響，大學(xué)士祁雋藻、云貴總督吳文路等均向同僚推薦此書，當(dāng)時福建、浙江地區(qū)的大員不但稱贊此書，而且接受了徐的進步思想。19世紀(jì)60年代后，洋務(wù)派的一些官員開始重視《瀛環(huán)志略》，并有不少人受到了此書的啟發(fā)和影響，如首任駐英公使郭嵩燾等人?？涤袨椤⒘簡⒊加浭鲎约菏菑摹跺h(huán)志略》受到最初的西學(xué)啟蒙。清末十多年《瀛環(huán)志略》一版再版，讀書人“家置一編”，就連慈禧太后辛丑回京后，也手持此書，“展誦不輟，意謂可窺外人情事”。革命派則從西方的共和制及華盛頓的事跡中受到極大鼓舞。

徐繼畬稱頌華盛頓的文字也給他帶來了意想不到的收獲，進而發(fā)展成為中美兩國友好交往和友誼的象征。

美國為紀(jì)念首任總統(tǒng)華盛頓誕辰100周年而開始向全美國及全世界廣征紀(jì)念品，1848年開始建造紀(jì)念塔。在華傳教士遲至1851年開始知悉此事。宣教士丁韙良當(dāng)時在寧波傳教，他在與徐繼畬的朋友張斯桂的交往過程中得知徐不僅了解華盛頓，還發(fā)表過相關(guān)討論，這觸發(fā)了丁韙良的靈感，這可是上好的紀(jì)念材料啊。