要起兵必須擴(kuò)大兵力，李淵為太原留守，雖握有重兵，仍需招募一支自己的隊(duì)伍，可公開(kāi)招募會(huì)引起高君雅、王威的注意。正在李淵、李世民為難的時(shí)候，馬邑人劉武周殺死了馬邑太守王仁恭，占據(jù)馬邑郡，起兵反隋，且自稱皇帝，還勾引突厥直驅(qū)太原。于是，李淵以討伐劉武周為托詞，召集各位將領(lǐng)商議，提出自己招募兵丁，高君雅和王威迫于當(dāng)時(shí)的形勢(shì)，只好同意。于是，李淵命李世民與劉文靜、長(zhǎng)孫順德、劉弘基、竇琮等人去招募士兵。不多久，便募兵近萬(wàn)人。李淵父子大量募兵，畢竟無(wú)法完全掩蓋其真實(shí)的想法，況且其所用將領(lǐng)長(zhǎng)孫順德、劉弘基是為了逃避征遼詔令而逃到太原的，而竇琮也是逃犯。高君雅、王威見(jiàn)此，懷疑李淵有謀反之心，于是就暗中策劃利用到晉祠祈雨的機(jī)會(huì)，將李淵父子誘騙來(lái)全部殺死。不料此事被經(jīng)常出入王、高家的劉文龍得知，劉文龍立刻將此事報(bào)告給李淵，李淵于是決定先發(fā)制人。

公元617年初夏的一天夜里，李淵命令長(zhǎng)孫順德、趙文恪等人帶領(lǐng)五百壯士，和李世民的精兵一起埋伏于晉陽(yáng)宮城外。第二天清晨，李淵與高君雅、王威在留守府大廳議事，按照計(jì)劃，以王、高暗引突厥入侵為由，將其逮捕入獄。事也湊巧，第二天果然有突厥數(shù)萬(wàn)人進(jìn)攻晉陽(yáng)，民眾以為是王、高所致，于是李淵趁機(jī)殺掉高君雅、王威。這標(biāo)志著李淵父子正式開(kāi)始晉陽(yáng)起兵。

晉陽(yáng)起兵后，李淵父子的目標(biāo)就是乘虛入關(guān)，直取長(zhǎng)安，以號(hào)令天下，建立新的王朝。

在長(zhǎng)安(今陜西西安)的統(tǒng)治者聽(tīng)說(shuō)李淵帶兵進(jìn)攻，忙派大將宋老生和屈突通分別領(lǐng)兵數(shù)萬(wàn)，在霍邑與河?xùn)|抵抗李淵大軍。大業(yè)十三年(617年)七月，李淵率軍進(jìn)攻宋老生駐守的霍邑，卻逢秋雨連綿，無(wú)法開(kāi)戰(zhàn)，而且道路泥濘，軍糧運(yùn)輸困難。但他聽(tīng)了李世民的意見(jiàn)，決定不撤兵。八月，連日的陰天終于放晴，李淵遂下令攻城，并由李世民率兵誘敵出城，雙方展開(kāi)決戰(zhàn)。李世民身先士卒，奮勇沖鋒，“砍殺數(shù)十人，兩刀皆缺，流血滿袖”。霍邑一戰(zhàn)，李淵大獲全勝，斬殺了隋將宋老生，攻下了霍邑。隨后，李淵率兵進(jìn)攻河?xùn)|郡，雖取得初戰(zhàn)的勝利，但是隋將屈突通固守河?xùn)|郡，李淵久攻不下。后根據(jù)李世民建議，李淵留下部分兵力包圍和牽制屈突通，自己率主力部隊(duì)渡過(guò)黃河，直取長(zhǎng)安。

同時(shí)，李淵在關(guān)中地區(qū)的家屬和親族也紛紛起兵響應(yīng)，其中有世民的胞妹平陽(yáng)公主、李淵的從弟李神通，李淵的女婿段綸也在藍(lán)田縣聚眾萬(wàn)余人。在這種有利形勢(shì)下，李淵父子一路上采取收攬人心的辦法，廢除了隋朝的嚴(yán)刑酷法，還開(kāi)倉(cāng)濟(jì)貧。一面收編關(guān)中各地的起義軍，一面爭(zhēng)取關(guān)中地主階級(jí)的支持。數(shù)月，李淵、李世民的軍隊(duì)已達(dá)二十萬(wàn)人，并于十月開(kāi)始圍攻長(zhǎng)安。十一月，長(zhǎng)安城破，李淵率軍進(jìn)入長(zhǎng)安宮，立年僅十三歲的代王楊侑為帝，是為隋恭帝，并改元義寧，遙尊江都的隋煬帝為太上皇。李淵總攬軍政大權(quán)，晉封為唐王。李建成為唐王世子，李世民為兆尹、秦公，李元吉為齊公。