接下來的事情讓李義府更加被動了起來。不久，李義府的母親去世了，高宗給了他服喪的假，但是李義府不知道是怎么想的，竟然在那些日子里穿上便服，會上方士杜元紀(jì)到城東，爬上高高的古墓上望氣色。這一次又被抓住了把柄，有人告發(fā)他，說這是窺覘災(zāi)異，等著有改朝換代的事情發(fā)生，他趁機謀反。只要罪名一涉及“謀反”二字，就嚴(yán)重了。

接二連三的倒霉事一齊向李義府襲來了，不久，又有人告發(fā)他的兒子右司議郎李津賣官給長孫無忌的孫子長孫延等等。

武則天實在看不下去了，是可忍，孰不可忍！最終，東窗事發(fā)的日子還是到了，李義府和他那三個不成器的兒子向來被人們合稱“四兇”，這一來，一起被流放，倒也省事。除掉了這“四兇”，百姓們竟樂得奔走相告，可見李義府的惡事已經(jīng)做到了什么程度。

就這樣，武則天像打掃一間久未整理過的屋子一樣，打掃著朝廷人事，整頓吏治，一時頗有開啟一代新風(fēng)的氣息。