為了避免朋黨嫌疑，北京的言官不好直接告高拱的黑狀。他們借著平時的文友詩社關(guān)系，拉出了南京的言官，聯(lián)名給高拱來了個“京察遺拾”的處分。因為明朝實行南北兩都的制度，在南京也有同樣的一套朝廷班子，這邊的人一般是些閑職，對北京起監(jiān)察作用，大多是被貶職但因資歷老，不能貶得太低就放到南京來了。所以，他們從來不怕得罪人。只要需要，他們對誰都可以提出“京察遺拾”。

迫不得已，高拱只好稱病辭官，回家休整。但他并沒有忘記和徐階的恩怨。在回家之后，他注重與南京的官員來往，正好發(fā)現(xiàn)海瑞在應(yīng)天府的任上，而應(yīng)天府管轄徐階的老家松江。徐階雖然做官清明，但他的兒子在民間為非作歹，而且徐階自身也囤積了大量土地。高拱搜羅了好多證據(jù)后，又準備讓海瑞彈劾徐階。

沒過多久，還沒等到高拱彈劾，徐階就被皇帝貶官回家了。年輕的穆宗想自己主導朝政，當然不想讓一個呼風喚雨的臣子活躍在自己的眼前。加上徐階主張革新變法的政見，不管合不合用都是強調(diào)宗古的皇帝不愿聽的，他的辭官是必然的。但史書沒有作出具體記載，這就更說明了與皇帝本人的意愿有關(guān)。

面對內(nèi)憂外患，在深宮被冷落太久的朱載垕一當上皇帝就開始進行彌補性的物欲享受，他一即位就要增選民女進宮。這時宮中已有宮女數(shù)千，但他認為還不夠多。于是，頒發(fā)圣旨到民間搜羅美女。民間有一出叫《拉郎配》的戲曲，幾百年盛演不衰，說的就是隆慶二年（1568年）朝廷在江南選宮女的風波。 據(jù)當時的史料記載，隆慶元年（1567年），江南一帶民間盛傳宮中要派人到江南選秀女，十名秀女一名寡婦陪送。明代紀實小說《崔鳴吾紀事》寫道：“隆慶（1568年）戊辰春正月，民間相傳，上遣內(nèi)官某選浙直美女入御，無問官吏軍民之家，敢有隱匿不赴選者，罪！鄰里知而不舉首者，同罪。于是有女者急于求售，年資，長幼，家世，貴踐皆所不論。自京口（今鎮(zhèn)江市）至蘇、松、嘉、湖諸郡，旬日間，無分妍媸，婚配殆盡。”凡是九歲以上的女性，不論貧富美丑，都是候選的對象，其搜羅范圍之廣，囊括了所有未婚嫁的女性。一些家庭害怕女兒被選，進入深宮冷落一生，生死難卜，都搶著要把女兒趕緊嫁出去。連寡婦也害怕陪著宮女被送入宮中，也都爭相再醮。一時找不到夫家的，走到街上見到男性就搶。傳說有一個富翁雇了一個錫工在家打造錫器，一天夜里，這名錫工突然被叫起來說：“急起！急起！可成親也。”這錫工在睡眼朦朧中，被拉到大堂上披紅戴花，與富翁的女兒成了親……這大多是后來人們杜撰的，但僅僅在位六年的穆宗朱載垕能在民間有這么一段戲劇性的插曲，足以證明這個皇帝當時是多么荒唐。他的荒唐成就了想象豐富的戲劇家，也成就了想一心干大事的政治家，他的老師張居正能有如此的皇帝學生也算是很幸運了。

對于朝政，朱載垕只知道獨攬大權(quán)，但具體的操作卻一概不知，只能請教自己的老師張居正。在徐階隱退之后，內(nèi)閣只剩陳學勤、李春芳和張居正。其余兩人都沒有多大謀略，也不愿有所作為，只是無所事事，張居正正好想利用這個機會獨攬內(nèi)閣大權(quán)。但沒過多久，為了體現(xiàn)自己的仁政，穆宗把因為得罪嚴嵩而被發(fā)配到廣西荔波的趙貞吉請進了內(nèi)閣。因為趙貞吉的資格最老，當仁不讓地做了內(nèi)閣首輔，張居正又一次與權(quán)力中心擦肩而過。面對如此個性的皇帝學生，他也是如坐針氈，既想趕緊主政，又怕干預(yù)過多遭到像高拱和徐階一樣的下場。

而與此同時，一群俠客活動在張居正、高拱和徐階之間。有一個叫呂光的，因為看到徐階的兒子被正法，要發(fā)配充軍，而自己又曾經(jīng)得到過徐階的幫助，于是想借此機會還個人情，特地趕來找張居正，讓他看在徐階曾提拔栽培自己的分上，站出來說句話，幫徐階一把。但此時的張居正既不好推辭，又怕自己幫了徐階又會得罪高拱。于是，他順手把這人推給了高拱，讓他去找高拱求情。他順便捎話希望高拱能復(fù)出，他希望利用資格更老、謀略更勝一籌的高拱為他趕走趙貞吉。

另外還有一個叫邵方的俠客，他的幾個方士朋友曾經(jīng)給嘉靖皇帝煉丹，這些丹藥不僅使皇帝沉迷于道教，而且送了他的命。徐階一上臺就馬上把這些方士抓了起來，準備正法。但由于其他事務(wù)繁忙，還沒來得及處理，那些人還關(guān)在大牢里。他們的伙伴邵大俠四處走訪，希望能拉點關(guān)系保他們一命。正好這個邵大俠和呂光曾經(jīng)都是白蓮教的成員，互相認識，走到一起一合計，覺得應(yīng)該去找高拱。他們答應(yīng)高拱，利用他們在皇帝身邊一個叫李芳的太監(jiān)給高拱說說好話，讓他重新返回北京。希望高拱回到內(nèi)閣后，在皇帝那里吹吹風，把他們的兄弟放出來留條生路。另外，呂光又說希望他做了首輔后，能給徐階的兒子留條活路。一心想復(fù)出的高拱滿口答應(yīng)，呂光也把高拱愿意復(fù)出的事情告訴了張居正。

沒過多久，在張居正和另外幾個內(nèi)閣成員的一致建議下，皇帝果然下詔重新請高拱入閣，而且是做首輔。一心想馬上投入整頓荒廢的政務(wù)的高拱在回家隱居兩年后再次入京，而張居正也以促成高拱再次入閣的功臣自居。雖然高拱對此并不買賬，但他對張居正的做事為人是極其欣賞的。

為了防止徐階卷土重來，高拱忙于再次“整頓吏治”調(diào)整官員。與此同時邊防吃緊，倭寇剛被戚繼光肅清，北部蒙古遺部又進犯邊境。高拱只好任命他信任的張居正全權(quán)負責處理邊防事務(wù)。