從此以后，明朝的邊患日益嚴(yán)重。嘉靖初年，韃靼部首領(lǐng)俺答汗占領(lǐng)河套，坐鎮(zhèn)一方，聚集力量，發(fā)兵南侵，人稱“套賊”。從嘉靖二十一年（1542年）到二十二年（1543年），連連侵犯大同、太原、平陽(yáng)等38個(gè)州縣，殺戮百姓多達(dá)20余萬(wàn)人，擄掠牛、馬、羊、豬200萬(wàn)頭，明朝軍隊(duì)反擊不力，從此年年為患。首輔夏言任用曾銑總督陜西軍務(wù)，奮起反抗，并取得初步的勝利。河套自被俺答占領(lǐng)后成為南侵的重要據(jù)點(diǎn)，曾銑主張收復(fù)河套，并得到夏言的積極支持，但由于內(nèi)閣意見(jiàn)不一，遲遲不能行動(dòng)，結(jié)果在這期間俺答騷擾不斷，一度到達(dá)居庸關(guān)，京師告危。嚴(yán)嵩以此為由，誣陷夏言、曾銑輕舉妄動(dòng)收復(fù)河套，招致俺答的報(bào)復(fù)，并將他們處死，造成千古奇冤。嘉靖二十九年（1550年），俺答又到順義、通州掠奪，再逼京師，總兵仇鸞竟斬殺老百姓的首級(jí)以冒功請(qǐng)賞。如此黑白顛倒，忠奸不分，更助長(zhǎng)了俺答的氣焰，防務(wù)的虛弱已成為明王朝的心腹之患。張居正為此痛心疾首地指出：“聲容盛而武備衰，議論多而成功少，宋之所以不競(jìng)也。不圖今日復(fù)見(jiàn)此事?！睆?qiáng)調(diào)文臣牽制武將的明朝制度與宋朝如出一轍，帶來(lái)的結(jié)果也使得大明王朝可能會(huì)重蹈南宋的亡國(guó)之禍。此時(shí)，高瞻遠(yuǎn)矚的張居正已經(jīng)看到，出自內(nèi)閣的對(duì)立和矛盾，已成為政治敗壞、邊防衰弱的主要原因。為此，他堅(jiān)決遠(yuǎn)離內(nèi)閣中的權(quán)力之爭(zhēng)，專心于處理邊防事務(wù)。

然而，嚴(yán)重的邊患，已不容他坐觀國(guó)勢(shì)的衰頹。土木堡事件以來(lái)，軍事積弊愈加深重，要想“一起而振之”，必須從源頭上加以改變。明代從成祖以來(lái)實(shí)行以文官統(tǒng)率武官的政策，主管軍事的統(tǒng)帥都是進(jìn)士出身，邊防將領(lǐng)對(duì)部下沒(méi)有獨(dú)立的指揮權(quán)和調(diào)配權(quán)。指揮和實(shí)戰(zhàn)的脫節(jié)，嚴(yán)重地壓抑了將領(lǐng)的積極性。隆慶初年，譚綸出任薊遼總督，他本是臺(tái)州知府，長(zhǎng)期在東南沿海任職，有豐富的反擊倭寇的經(jīng)驗(yàn)。像他這樣通曉戰(zhàn)爭(zhēng)的文官，在明代官僚體制中，是非常少見(jiàn)的。如今，他以文官的身份為武將請(qǐng)命，要求練兵和作戰(zhàn)擺脫地方官的牽制，減少地方官干涉軍務(wù)的權(quán)力，這是對(duì)一百五十多年來(lái)以文制武傳統(tǒng)的挑戰(zhàn)。地方巡撫劉應(yīng)節(jié)、巡關(guān)御史孫代等都激烈反對(duì)，但都不是張居正的對(duì)手。在首輔徐階的支持下，張居正為譚綸爭(zhēng)得獨(dú)立的指揮權(quán)，開(kāi)創(chuàng)了有明一代提高地方將領(lǐng)權(quán)力和社會(huì)地位的先例。

為了加強(qiáng)邊防的實(shí)力，張居正又調(diào)用譚綸的老搭檔抗倭名將戚繼光總理薊州、昌平、保定三鎮(zhèn)的練兵事務(wù)，各路總兵統(tǒng)由其統(tǒng)轄，這在軍隊(duì)是一個(gè)創(chuàng)舉。戚繼光被任命為總理，這就在三鎮(zhèn)總兵以外，又增設(shè)一職，與原有體制不合，加上戚繼光是南方軍人，以水戰(zhàn)見(jiàn)長(zhǎng)，一般輿論認(rèn)為水軍不習(xí)陸戰(zhàn)，紛紛加以抵制，這一職務(wù)被總兵們認(rèn)為是“綴疣”。但種種議論都不能動(dòng)搖張居正調(diào)用戚繼光的決心。在他看來(lái)，這是“弊在人心不一，論議煩多，將令不行，士氣難作”，斷然以特旨的名義任命戚繼光為薊州鎮(zhèn)總理練兵事務(wù)兼鎮(zhèn)守，這既保留了戚繼光總理練兵事務(wù)的頭銜和節(jié)制三鎮(zhèn)總兵的大權(quán)，又讓他擁有了直接管轄薊州軍務(wù)的權(quán)力。張居正還把工作做到細(xì)處。為了平息輿論，他請(qǐng)出素有威望的凌云翼說(shuō)服眾將領(lǐng)。正是因?yàn)閺埦诱臎Q心和斡旋，才使得戚繼光在北方再展雄風(fēng)。張居正力排眾議，打破常規(guī)地任用譚綸與戚繼光，從此改變了明王朝以文制武的傳統(tǒng)軍制。

為了激勵(lì)將領(lǐng)兵士的積極性，張居正大刀闊斧地改變賞不當(dāng)功，罪不當(dāng)罰的積弊，重獎(jiǎng)有軍功的將士。宣府總兵馬芳在隆慶元年（1567年），轉(zhuǎn)戰(zhàn)宣大、威寧、黑山，戰(zhàn)功卓著，獲得蔭子千戶及銀幣的賞賜；陜西延綏總兵趙苛曾經(jīng)防御失利，后戴罪立功，在塞外大戰(zhàn)中殺敵三百余人，奪馬一百多匹，官升至大同總兵，蔭子正千戶。這超常的獎(jiǎng)勵(lì)，遭到文官的抵制，連兵部都不敢做主。張居正憤怒地指出，不給予重賞，誰(shuí)肯冒死犯難？他執(zhí)意破格獎(jiǎng)賞。

重賞重罰是張居正軍事思想的重要組成部分，他主張有功于國(guó)家的，即使千金重賞、通侯之印，概不吝予；無(wú)功于國(guó)家的，一個(gè)笑臉、一條破褲子也不輕予。一代名將李成梁是行伍出身，按明制不能擔(dān)任鎮(zhèn)守一方的大將，是張居正論功行賞，破格提拔，使他成為鎮(zhèn)守遼東的主將。在這種思想的主導(dǎo)下，隆慶年間，獎(jiǎng)勵(lì)有功將士的記載史不絕書(shū)，大大激勵(lì)了有為之士，效命疆場(chǎng)，創(chuàng)建軍功。

通過(guò)一系列務(wù)實(shí)的任命，張居正在形式上依然尊崇大明王朝舊制，但本質(zhì)上已經(jīng)改變了過(guò)去錯(cuò)綜復(fù)雜的兵權(quán)牽制的制度。他把練兵、用兵的大權(quán)通過(guò)設(shè)立新官職的方式，重新統(tǒng)一到一個(gè)將領(lǐng)手中，加強(qiáng)了機(jī)動(dòng)性，有效地抵御了蒙古余部的侵?jǐn)_。