此时，全国的政治格局已发生大的变化，农民起义军已基本摧毁了隋王朝的统治力量，隋朝的官僚地主也纷纷打起反隋的旗帜割据一方。太原乃“天下精兵处”，隋自建国以来，对晋阳城军需物资的储备一直十分重视，经多年的积蓄，城中已是“府库盈积”，“太原粮饷可支十年”。所以，李渊被任命为太原留守后，“私窃甚喜”，他对次子李世民说：“唐固吾国，太原即其地焉。今我来斯，是为天与，与而不取，祸将斯及。”在镇压农民起义的过程中，李渊招降纳叛，不断扩充自己的实力。李渊父子还广结豪杰之士，网罗各种人才。史称李渊“素怀济世之略，有经纶天下之心。接待人伦，不限贵贱，一面相遇，十数年不忘”。李世民在晋阳“密招豪友，一技可称，一艺可取，与之抗礼，未尝云倦”，“倾财赈施，卑身下士”。晋阳令刘文静、晋阳宫监裴寂皆为李世民的密友，也是李渊父子晋阳起兵的主要谋士。

正当李渊及其子李世民、与晋阳令刘文静谋举大事”时，617年（大业十三年）二月，李渊治下驻马邑（今山西朔州市）的鹰扬府校尉刘武周发动兵变，杀死马邑太守王仁恭，据马邑而自称天子，国号定杨。三月，刘武周攻破楼烦郡，进占汾阳宫，并与突厥勾结，图谋南下争夺天下。炀帝闻讯后大怒，要提李渊到江都治罪。在此危急情势下，李渊对李世民说：“事急矣，可举事。”其周围的心腹裴寂、许世绪、武士眜等也纷纷劝李渊起兵，李渊终于下定了反隋的决心。于是，李渊借口防备刘武周和突厥南下，派李世民、刘文静、长孙顺德、刘弘基等人到各地募兵，旬日之内募集到数千人。随后，李渊派人往河东召回其子李建成和李元吉。

太原副留守王威和高君雅看到李渊招兵买马，怀疑李渊“有异志”，便密谋骗李渊父子到晋祠祈雨，除掉李氏，向隋炀帝邀功请赏。不料，这一密谋被晋阳乡长刘世龙获悉，告知了李渊。五月十五日，李渊、李世民先发制人，指使开阳府司马刘政会告发王威、高君雅二人暗中勾结突厥，引突厥入寇中原，借此将二人囚禁。五月十七日，恰巧数万突厥军队进攻晋阳，李渊立刻名正言顺地命人将两人推出斩首。同时，李渊又设下空城计，“开诸城门”，吓退了突厥的军队。接着，李渊开始作起兵反隋的准备工作。

李渊听从刘文静等人的建议，制定了“乘虚入关，号令天下”的战略。当时天下虽然群雄并起，但许多人并无大的志向，只图据地自保，或是瞻前顾后，犹豫不决。李渊的起兵战略，以入关夺取长安为军事目标，以开创帝业，最终取代隋为政治目标。在实现目标的过程中，又强调以“废皇帝（指隋炀帝）而立代王”募集兵士，扩充地盘。李渊起事后，让部下开仓赈济贫民，公开募兵。

北结突厥。隋末，东突厥汗国崛起达到极盛，东自契丹、室韦，西尽吐谷浑、高昌诸国，都臣属于东突厥汗国，窦建德、薛举、刘武周、梁师都、李轨、王世充等势力也臣属于东突厥汗国，东突厥汗国控弦之士百万，古代戎狄没有比东突厥汗国更强的。李渊深知以太原为根据地起兵南下，必须处理好与突厥的关系。否则突厥包抄后路，后果不堪设想。他在出任太原留守时，就曾对李世民说：“历山飞不破，突厥不和，无以经邦济时也。”李渊用空城计吓退突厥兵后，立即亲自写信给突厥始毕可汗，说：“我今大举义兵，欲宁天下，远迎主上（指隋炀帝）还，共突厥和亲。……若能从我，不侵百姓，征伐所得，子女玉帛，皆可汗有之。”（但是李渊没有把征伐所得的子女交给突厥，也没有把财物都给突厥。李渊把征战得到的大量女人放回家去让她们与亲属团聚。）李渊起兵之前，隋朝已经统治崩溃、名存实亡。 李渊起兵时地盘极小、只有太原，因为隋炀帝留下的恶劣形势，为了防止突厥与刘武周攻打自己，李渊才暂时结好突厥。（后来李渊建立唐朝之后，不久就与突厥开战。唐朝一面打败众多敌人，扩张，进行统一战争，另一面抵御突厥，还消灭突厥支持的割据势力，削弱了突厥可汗的力量与威望，还分化突厥。）起兵南下之前，突厥以一千匹马来互市，李渊挑选其中好的，只买了一半。南下至龙门时，刘文静、康鞘利以率领派500人、2000匹马到达。李渊因为突厥来的晚而高兴，对刘文静说：“我西行及河，突厥才到达，兵少马多，都是你的功劳。”

东和李密。李渊起事后，为使东面有30万人马、战将千员的李密起义军不致成为自己进兵关中的掣肘，令温大雅带着他的信去见李密，信中一面吹捧李密是当今天下大乱之际唯一能宁世安民的英雄，表示对李密的拥戴；一面剖白自己胸无大志，无意灭隋，从而使李密放松了对他的警惕防范。

六月初五日，李渊在晋阳设起义堂（亦称号令堂），将军队分为三军，统称“义士”。裴寂等尊称李渊为“大将军”。十四日，李渊在晋阳建大将军府，以长子李建成为陇西公、左领军大都督，统率左军；以次子李世民为敦煌公、右领军大都督，统率右军；以四子李元吉为姑臧公，统率中军。以裴寂为大将军府长史，刘文静为司马，殷开山为掾，刘政会为属，长孙顺德、王长谐、刘弘基、窦琮为左右统军、副统军。并下令开仓放粮。

七月初四日，李渊在晋阳宫城东的乾阳门街军门前竖白旗誓师，并任命四子李元吉为镇北将军、太原郡守，让其留守晋阳。李渊在誓文中历数了隋炀帝杨广的种种罪恶，宣布要“兴甲晋阳，奉尊代邸，扫定咸洛，集宁寓县”。

初五日，李渊亲率长子李建成、次子李世民及义师甲士3万自太原挥兵南下，攻破霍邑（今山西霍县）、后至河东受阻于屈突通，令次子李世民渡黄河，平定关中，李世民与在鄠县起兵的李神通、在司竹起兵的平阳公主合兵一处，横扫关中，告知高祖赴京。十一月间攻入长安。李渊进入长安不久，就宣布遥尊隋炀帝为太上皇，拥立炀帝孙代王杨侑为帝，改元义宁，是为隋恭帝。恭帝进封李渊为唐王，以李建成为唐王世子；李世民为京兆尹，改封秦国公；封李元吉为齐国公。

617年（大业十三年）十一月初九日，李渊率军攻陷长安，立隋炀帝之孙杨侑为帝，是为隋恭帝。隋恭帝任命李渊为大都督内外诸军事、大丞相、录尚书事，进封唐王。618年（义宁二年）李世民徙封赵国公。公元618年3月，隋炀帝在江都被部将杀死。五月，李渊即位，国号唐，建元武德，定都长安，是为唐高祖。李渊以李世民为尚书令。不久，又立李建成为皇太子，封李世民为秦王，李元吉为齐王。

第二年五月，隋恭帝被迫禅位于李渊，李渊即皇帝位于长安，建立唐朝，是为唐高祖。

李渊从太原起兵到攻克长安，只有短短的5个月时间。隋末农民战争牵制了的隋朝统治，牵制了隋军大量兵力，使隋朝统治集团无力西顾，关中空虚，不能和新兴的李渊集团抗衡，这是总的战略形势决定的。在攻取长安的过程中，李渊父子运用战术巧妙，如与关东李密联合，拖住隋军无暇西顾，入关后立即屯兵潼关，阻住了隋朝援军。具体战术运用方面当机立断，不失时机，如在攻打河东与进军长安时双管齐下，收效显著。事实证明，这种部署是成功的，长安失陷以后，隋将屈突通被俘投降了李渊。李渊进军途中减少了阻力，因而能够迅速攻占长安，奠定了唐朝基础。

武德元年五月李渊称帝后不久公布元谋功臣名单，记录在晋阳起兵时的功臣，一共有十七人：

尚书令秦王李世民、尚书左仆射裴寂和纳言刘文静、左骁卫大将军长孙顺德、右骁卫大将军刘弘基、右屯卫大将军窦琮、左翊卫大将军柴绍、内史侍郎唐俭、吏部侍郎殷开山、鸿胪卿刘世龙、卫尉少卿刘政会、都水监赵文恪、库部郎中武士彟、骠骑将军张平高、李思行、李高迁、左屯卫府长史许世绪。