這時候東路宋軍的當面之敵，就是大遼名將耶律休哥。耶律休哥的隊伍人數(shù)并不多，他便避免與宋軍決戰(zhàn)，只是在夜里派輕騎騷擾宋軍，白天以精銳部隊列陣，威嚇宋軍，攪得宋軍筋疲力盡。

宋軍因為糧食不繼，在白溝遲滯了一個月才繼續(xù)北進。就在拖延的這一個月里，攻遼的黃花菜可說是徹底涼了！一是宋軍士氣大不如前；時值天氣炎熱，將士體力消耗大，渴了連水都沒得喝，到達涿州時全軍已疲乏不堪。二是蕭太后親統(tǒng)援軍從幽州趕來，進至涿州以東的駝羅口，奪回了固安，遼軍的兵勢大大超過宋軍。

曹彬見糧草將盡，在涿州根本沒法固守，而野戰(zhàn)的話，又怕被遼軍主力合圍，便急忙下令，冒雨撤軍。

可是蕭太后怎么能讓你們跑掉？她派出精銳騎兵，在大雨中緊追不舍，終于在岐溝關(guān)追上宋軍，一古腦的包了餃子。曹彬、米信各率親隨奮力突圍而去。拋下那可憐的十萬宋軍，潰散奔逃，一直被追至拒馬河，死傷無數(shù)。

另外還有好幾萬宋軍作為后援集結(jié)在沙河邊，此時也都得了"恐遼癥"，聽說遼軍來了，都望風而逃，光是自相踐踏和掉進河里的，就死了過半，岸上遺棄的兵甲堆積如山。

東路主力這一敗，仗就沒法打了，宋太宗只好叫各路都撤兵。其中要求西路軍退回代州（今山西代縣），并護送云、朔、寰、應四州民戶南遷。

但遼軍可不會讓他們就這么輕松地退走。蕭太后和大臣耶律斜軫等，率領(lǐng)精銳十余萬人來攻；到六月，奪回了寰州（在今山西朔縣東）。

這下西路的宋軍犯難了：強敵逼近，寰州丟了，余下三州的老百姓怎么遷移？尤其朔州當敵，想平平安安轉(zhuǎn)移老百姓，更為不易。楊業(yè)向潘美、王侁等人建議說：遼軍勢大，不可與戰(zhàn)，可密告云州、朔州守將作出攻擊寰州的樣子，我軍也前進至應州（今山西應縣），遼軍必然全軍趕來決戰(zhàn)。此時朔州（今屬山西）吏民就可趁機直入石碣谷，再派強弩手千人封鎖谷口，以騎兵在半途接應，則三州之眾可安然撤回內(nèi)地。

這是好主意，但遭到監(jiān)軍王侁的反對。王侁主張，列出堂堂正正之陣，去朔州接應百姓，有幾萬精兵在手，還怕他遼軍不成？他還對楊業(yè)說："你素號無敵，今見敵而逗留不戰(zhàn)，豈非有他志？"

他這話說得十分惡毒，因為楊業(yè)是北漢降將，"豈非有他志"是暗諷楊業(yè)又想投降。楊業(yè)受不了這個，負氣決定冒險出征。他流著淚對潘美說："今諸位責我避敵，我當先死于敵！"臨行前，他要求潘美等人率軍在陳家谷口（今寧武北）接應。