劉早就聽(tīng)聞宋金剛之名，宋來(lái)后劉傾心與宋結(jié)交，封了宋金剛為宋王，讓宋負(fù)責(zé)指揮軍事，還分了自己的一半家產(chǎn)贈(zèng)送給宋。這樣的榮寵宋自然心中感動(dòng)，從此對(duì)劉死心塌地，為表示忠心，宋甚至主動(dòng)休掉了自己的妻子，迎娶劉武周的妹妹為妻（所謂婚姻不過(guò)是政治工具而已，正如劉備之所說(shuō)妻子如衣服）。劉、宋二人如魚(yú)得水，其關(guān)系之緊密，就仿佛孫策之與周瑜。

宋金剛為劉武周分析局勢(shì)，認(rèn)為李淵必定會(huì)將劉做下一個(gè)進(jìn)攻目標(biāo)，與其等李淵做好準(zhǔn)備了來(lái)進(jìn)攻，還不如趁李淵準(zhǔn)備不足主動(dòng)出擊，拿下李家的老巢太原。正好此時(shí)突厥與李淵反目，也支持劉武周進(jìn)攻唐朝，于是劉武周起傾國(guó)之兵于武德二年（619年）六月向唐發(fā)起戰(zhàn)略進(jìn)攻，矛頭直指太原郡城晉陽(yáng)。

劉武周有備而來(lái)，又有突厥送人送馬在背后支持，其戰(zhàn)斗力極強(qiáng)，唐的守御部隊(duì)抵擋不住，丟失多座城池。李淵深為擔(dān)心，于是派出自己的老朋友頭號(hào)寵臣裴寂前往應(yīng)敵。九月，裴寂與宋金剛相遇于介休，介休本是唐地，當(dāng)時(shí)已被宋攻克，裴部就于城外的度索原扎營(yíng)。宋守城不與裴寂交戰(zhàn)，卻暗中派人破壞了裴營(yíng)中的水源，唐軍缺水，不得不移營(yíng)另找水源。宋就趁唐軍移營(yíng)混亂之機(jī)發(fā)動(dòng)突襲，唐軍猝不及防，幾乎全軍覆沒(méi)，主帥裴寂快馬加鞭逃得一命。

裴寂的全軍覆沒(méi)使唐朝已無(wú)力阻擋劉武周進(jìn)攻晉陽(yáng)，當(dāng)時(shí)太原留守是齊王李元吉，李元吉得知?jiǎng)⑽渲鼙R城下后，豪氣干云地對(duì)部下說(shuō)，你們領(lǐng)老弱守城，我親自帶精銳出城迎戰(zhàn)，隨后齊王率領(lǐng)精銳連夜出城——帶著自己的妻妾兒女金銀財(cái)寶——逃回長(zhǎng)安去了。被拋棄的將士和人民別無(wú)選擇，只得主動(dòng)開(kāi)城投降了劉武周，太原郡落入劉武周手中。

晉陽(yáng)是李淵的起義之地，是其苦心經(jīng)營(yíng)了多年的地方，一直被視為“興王之基”，是唐朝僅次于首都長(zhǎng)安的重鎮(zhèn)。劉武周從發(fā)起戰(zhàn)略進(jìn)攻起只用了三個(gè)月就攻克了晉陽(yáng)，這是李淵起兵以來(lái)遇到的最大失敗，氣得李淵直想殺人泄憤（雖然生氣也不會(huì)殺自己的兒子，是想殺輔佐李元吉的幾個(gè)大臣）。同時(shí)，關(guān)西各地的小股反唐勢(shì)力也紛紛乘機(jī)聯(lián)合劉武周對(duì)唐動(dòng)武，而竇建德、王世充、蕭銑、梁師都等各路反王也不約而同對(duì)唐發(fā)動(dòng)進(jìn)攻，一時(shí)間李淵內(nèi)外交困，整個(gè)唐朝發(fā)生動(dòng)搖。

面對(duì)劉武周的進(jìn)攻，唐軍總指揮裴寂無(wú)力反擊，不得已之下，下令各地堅(jiān)壁清野，強(qiáng)令百姓遷入各處城池、塢堡，無(wú)法帶走的糧食財(cái)產(chǎn)一律就地銷(xiāo)毀。這一招在戰(zhàn)略上是有效的，可以使敵人無(wú)法就地獲得補(bǔ)給，但它的運(yùn)用必然導(dǎo)致大量的犧牲，其實(shí)是玉石俱焚的慘烈手段。對(duì)于老百姓來(lái)說(shuō)，他們并沒(méi)有義務(wù)來(lái)支持唐朝對(duì)抗劉武周，也沒(méi)有義務(wù)去搞什么堅(jiān)壁清野，唐軍跑來(lái)燒了他們的田地、房子、糧食，那唐軍就成了他們的敵人。結(jié)果裴寂的堅(jiān)壁清野戰(zhàn)術(shù)遭到強(qiáng)烈的反抗，不斷有老百姓造反投靠劉武周，可以說(shuō)是起了“化民為賊”的反作用。民變中最大的一股是河?xùn)|郡夏縣的呂崇茂，呂占據(jù)夏縣自稱魏王，裴寂前往討伐，居然被打得落花流水。

唐軍的軍事行動(dòng)多次失利，河?xùn)|局勢(shì)一片大亂，李淵在長(zhǎng)安為此憂心忡忡，聚集群臣商討是否該暫時(shí)放棄黃河以東，收縮部隊(duì)以確保關(guān)中。按理說(shuō)李淵不該如此膽小，河?xùn)|一帶是他起家的老巢，如何可以輕言放棄，推測(cè)李淵可能是想以退為進(jìn)，激勵(lì)群臣自動(dòng)請(qǐng)纓。于是李世民跳將出來(lái)，力陳河?xùn)|不可棄，愿親自率部迎戰(zhàn)劉武周。李淵準(zhǔn)李世民所請(qǐng)，為對(duì)付劉武周，唐朝終于打出了王牌。