這封信沒有回音。三月，蘇東坡又寫了第三封信。此時(shí)皇帝已下令禁止強(qiáng)攤貸款，但是并不打算廢新政。蘇東坡引孟子的話說，這就像偷雞賊有心改過，卻打算每月只偷一只雞。他自熙寧四年（1071年）一月開始擔(dān)任告院權(quán)開封府推官，其間出了一道州試試題。題目是“論獨(dú)斷”（全題是“晉武平吳，以獨(dú)斷而亡。齊小白專任管仲而霸，燕噲專任子之而敗。事同而功異，何也？”），這讓王安石非常生氣，使情況更糟。

蘇東坡立刻被罷黜。不出所料，皇帝有心善意接受他的勸告，奸佞小人卻可以找些莫須有的罪名來整他。王安石的親戚兼隨從謝景溫把法律的巨輪轉(zhuǎn)向蘇東坡。當(dāng)時(shí)謠傳蘇氏兄弟護(hù)送父親靈柩回四川，曾濫用官兵，買家具、陶瓷，甚至販賣私鹽圖利。朝廷派官員到蘇家兄弟途經(jīng)的省份，向船夫、兵卒和儀官收集資料。蘇東坡也許真的買了不少家具、陶瓷，但是沒有非法的行為。差人回來說，沒有發(fā)現(xiàn)什么，如果找得到，他們一定會(huì)帶回來。

蘇東坡寫信給當(dāng)時(shí)住在四川的內(nèi)弟（王箴）說：“某與二十七娘甚安，小添寄叔并無恙……某為權(quán)幸所疾久矣。然捃摭無獲，徒勞掀攪，取笑四方耳。不煩遠(yuǎn)憂。”

司馬光回洛陽老家之前，皇帝曾對他說：“我覺得蘇軾人品不好。也許你高估了他。”

“陛下是指蘇軾的彈劾案？”司馬光答道，“我比較了解他。陛下知道謝景溫是王安石的親戚，此案是王安石發(fā)動(dòng)的。蘇軾并非十全十美，但是他比隱瞞母喪的禽獸李定可強(qiáng)多了?！?/p>

根據(jù)蘇東坡的政績，他該任太守，皇帝也有此意。王安石和謝景溫卻不贊成，要他擔(dān)任偏遠(yuǎn)軍州的判官，不過皇帝最后改命他為杭州太守。面對御史的彈劾，蘇東坡連答辯書都懶得寫，任憑官員去查個(gè)痛快，自己則帶著家眷到杭州去了。