這個時候，褚遂良外貶已有一年多，侍中韓瑗上奏，想說服皇帝把褚遂良召回，重用有真才實學的大臣。他奏道：“朝廷貶謫賢良之臣，向為風氣敗壞之兆。遂良體國忘家，乃國之老臣，無聞罪狀，即遭貶謫，內外大臣、百姓無不嘆惋。遂良雖有忤君之罪，然顛沛經(jīng)年，陛下何不憐而赦之乎？”

高宗對韓瑗的上奏并不上心，只是應付似地回答他說：“遂良之情，朕亦知之。然其悖戾好犯上，故而責之。卿何必言重？”

韓瑗、來濟見高宗的話有所松動，便慨然力爭：“遂良乃社稷忠臣，為讒諛之人詆毀。陛下無辜棄逐舊臣，恐非國家之福。”

李治很明白他們這話說的是什么意思，心里頗有不快，可是韓瑗卻不懂得察言觀色，揣摩圣意，一著急，竟然說：“赫赫宗周，褒姒滅之。臣不愿見唐室之衰亡也！”

這一下禍惹大了。

高宗聽了怒氣大作，吼道：“你下去吧！”

就在韓瑗說這些話的時候，武則天正在簾后，但始終沒有吱聲。她觀察得很細，心中已然有數(shù)。

顯慶二年（657年）閏正月，高宗和武則天行幸洛陽宮，在這里住了下來，并于當年底宣布將洛陽定為東都。后世有史家說，因武則天在長安宮中常見王皇后、蕭淑妃的鬼魂作祟，故有此避祟之舉。而實際上，是因為唐疆土已比前朝有所擴大，政治中心南移，是為便于統(tǒng)治。

到了三月份，不知為什么，關隴一派似乎是想以退為進，建議高宗，把褚遂良從潭州（今湖南長沙）調到更遠的桂州（今廣西桂林）任都督。這也可能是為了讓褚遂良再遠離政治中心一些以避禍。

他們已經(jīng)發(fā)覺武則天力量的突飛猛進，和她正面對抗，贏的概率不大了。很快，一場更大的政治暴風雨便把這一批舊老沖洗得干干凈凈。

顯慶二年七月，武則天指使許敬宗和李義府向皇帝上奏，說韓瑗、來濟和褚遂良正暗中策劃發(fā)動叛亂。接下來的事情當然是意料之內的，皇帝素來對叛亂這個話題極為敏感，大驚之下也不查明事情的真相，韓瑗、來濟便被趕出朝廷。韓瑗被發(fā)配到了海南島的振州做了刺史，來濟到浙江的臺州做了刺史，并且終身不準入朝。褚遂良被貶到了愛州（今越南清化）做刺史。一個比一個偏遠。就連以前那個王皇后的舅舅柳奭，現(xiàn)在雖然已是成不了什么氣候的老人，早就貶到榮州（今四川榮縣），這次也受牽連，再貶到象州（今廣西象州縣）為刺史。

褚遂良被一貶再貶，心情惡劣可想而知。當初的倔強勁兒早已消失，只有上表乞憐。他說：“先帝臨終時，臣獨與無忌二人受遺詔，陛下當時哀慟，臣曾加以寬慰，陛下手抱臣頸。臣與無忌立刻奉陛下還京，處理大事，致使內外安寧。臣力小任重，動輒得罪，今成螻蟻微賤之軀，乞陛下哀憐！”

這樣一紙聲淚俱下的表上去之后，高宗不理。高宗的冷漠，給褚遂良的身心打擊很大，第二年，他就在愛州郁郁而終，時年六十歲。

這樣，關隴舊勢力已經(jīng)被慢慢地分化瓦解得差不多了。武則天明白，現(xiàn)在還剩下一個最難對付的長孫無忌。