李世民派宇文士及回朝上奏请求进军包围东都洛阳，李渊对宇文士及说：“回去跟你们秦王殿下说：这次攻打洛阳，不获全胜，决不收兵，攻陷东都之际，隋朝皇室的车驾仪仗、图书簿籍以及器械，除去各人所必须的，就都委托你收集起来，其他的男男女女玉器布帛，都用来分赐给将士们。”

辛丑（十三日），李世民将军营转移到青城宫，尚未修好壁垒，王世充就率二万兵马从方诸门而出，凭借旧马坊的墙垣沟堑，靠近水抵御唐军，唐诸将全都惊慌。李世民让精骑在北邙山列阵，自己登上北魏宣武帝陵观察郑军，对身边的人说：“贼子的处境已窘迫了，倾巢而出，想侥幸打一战，今日打败他，以后他再也不敢出战了！”

李世民命令屈突通率领五千步兵过谷水进击王世充，并告诫屈突通道：“军队一交锋立即放烟火。”待到起烟，李世民带领骑兵向南冲击，身先士卒，与屈突通汇合兵力奋力战斗。李世民想了解王世充军阵兵力分布情况，率几十精锐骑兵冲入敌阵，一直冲到敌阵背后，不可阻挡，杀伤很多敌人。

不久因长堤所限，李世民和众骑兵走散唯有将军丘行恭跟随着李世民，几名王世充的骑兵追上来，李世民的坐骑中箭倒毙。丘行恭调转马头向回骑，射击追赶的郑兵，箭无虚发，追兵不敢向前。于是丘行恭下马将自己的坐骑让给李世民，自己在马前步行，手执长刀跳跃大喊斩杀几人，冲出王世充军阵，得以回归唐军大部队。

王世充也率领部下殊死战斗，军队几次三番打散后重又集合起来，从上午七八点钟直到中午，王世充的军队才退军。李世民挥军追击，直到城下，俘虏歼灭了七千人，于是包围了洛阳。

唐骠骑将军段志玄奋力与王世充的士卒交战，深入敌阵，坐骑倒下，段志玄被王世充的士兵俘获，两名骑兵夹着他并抓住他的发髻，准备过河，段志玄奋勇跳起，那两名骑兵都掉下马来，段志玄骑上马奔回唐军，后面有几百名骑兵追赶，但不敢靠近。

李世民包围了洛阳宫城。城中王世充的防御十分严密，大炮可以射五十斤重的石头，投出二百步远，有八个弓的弩，箭杆像车辐，箭镞如同臣斧，可以射五百步远。李世民四面攻城，昼夜不停，十几天未能攻克。城中先后有十三个人想以城倒戈应唐，均没有来得及发动就被杀死。

唐军将士都疲惫不堪想回关中，总管刘弘基等人请求班师回朝，李世民说：“如今大举而来，应当一劳永逸。洛阳以东的各州已望风归服，唯有洛阳一座孤城，其势已不能持久，成功在即，怎么能放弃而回朝呢？”于是下令全军：“洛阳不破，决不回军，再有胆敢提起班师的一律斩首。”众人才不敢再提班师一事。

李渊听说后，也下密敕让李世民还军，李世民上表说明洛阳必定可以攻克，又派参谋军事封德彝回朝面陈军前形势。封德彝对李渊说：“王世充得到的地方虽然多，但都不过是略有联系的部属，实际号令所能管辖的只不过洛阳一城而已，他已经智尽力穷，克城之日就在近期之内。现在如果回师，他的势力就会重新振作起来，再加上各地互相联合，以后想要消灭他就难了！”于是李渊听从李世民的建议。李世民写信给王世充，晓以祸福利害，王世充没有回复。

戊午（三十日），王世充的郑州司兵沈悦派人到唐左武侯大将军李世绩处请降。唐左卫将军王君廓夜晚带兵攻击虎牢，沈悦作内应，于是唐夺取了虎牢，抓获了郑国的荆王王行本及其长史戴胄。

三月，唐军在洛阳城外挖沟筑垒困守。洛阳城内缺粮，一匹绢才值三升粟，十匹布才值一升盐，服饰珍玩，贱如土芥。百姓把草根树叶都吃光了，就一起澄取浮泥，放入米屑作成饼吃，食后都得病，身体肿胀脚跟发软，饿死的人交错着倒在路上。当初皇泰主迁百姓入宫城时，有三万家，到这时不足三千家。就是地位高贵的公卿，这时连粗糠都吃不饱，尚书郎以下官吏，需自己亲自参加劳动，还往往饿死。

窦建德命他的将领范愿守卫曹州，调孟海公、徐圆朗的所有兵马，向西救援洛阳。到滑州，王世充的行台仆射韩洪打开城门迎他们入城。己卯（二十一日），军队到酸枣。窦建德攻陷管州，杀了管州刺史郭士安；又攻陷了荥阳、阳翟等县，水陆并进，用船运粮，向西溯黄河而上。王世充的弟弟徐州行台王世辩派遣手下的将领郭士衡带几千兵马与窦建德会合，共十几万人，号称有三十万，在成皋东原扎营，在板渚修筑宫室，派人和王世充互通消息。

当初，窦建德写信给李世民，请唐军退到潼关，退还夺取的郑国土地，重修原来的睦邻关系。李世民召集将佐商议此事，众人都请求避开窦建德的兵锋，郭孝恪说：“王世充已是穷途末路，马上就会成阶下囚，窦建德远道而来救助王世充，这是天意要郑、夏两国灭亡。我们应当凭借虎牢之险抵御窦建德，视情况而动，肯定能打败他们！”

记室薛收说：“王世充保据东都，仓库充实，统帅的兵马，都是江淮地区的精锐，现在的困难只不过是缺粮。因为这个缘故，被我们拖住，想打打不了，要坚守又难以持久。窦建德亲自统帅大军远道赴援，也会尽出其精锐。如果放他到此，两寇合兵，将河北的粮食运来供给洛阳，那么大战才展开，不知什么时候结束，统一天下的日子更是遥遥无期了。现在我们应当分出兵力围困洛阳，加深壕沟增高壁垒，如果王世充出兵，要小心不和他交战，大王您亲自率领骁勇精锐，先占据成皋，磨快兵器训练兵马，等他们到来，以逸待劳，一定能够克敌。打败窦建德后，王世充自然也就败亡，不出二十天，就会捉住两个国君！”李世民十分赞赏他的计策。

萧瑀、屈突通、封德彝都认为：“我军疲惫不堪士气低落，王世充凭借坚城固守，不容易很快攻克，窦建德挟胜利之势而来，士气高涨锐不可挡，我军腹背受敌，不是好办法，不如撤退保守新安，以便等待时机。”

李世民说：“王世充损兵折将，粮食吃尽，上下离心，我们不必花气力攻打，可以坐等他败亡。窦建德刚刚打败了孟海公，将领骄傲，士卒疲惫，我们占据虎牢，等于扼住他的咽喉。他如果冒险决战，我们可以轻而易举打败他；如果他犹豫不决，不来交战，要不了十天半个月，王世充自己就会溃败。破城后兵力增强，士气军势自然倍增，一下打败两个敌人，就在这一仗了。如果不迅速进军，窦建德进入虎牢，周围各城新归附，必然不能坚守；两敌合力，势力必然强大，怎么会有机可乘呢？我的计划决定了！”

屈突通等人又请求解除洛阳之围，凭借险要以观敌人变化，李世民不答应。于是将军队平分为两部分，由屈突通等人辅助齐王李元吉围困东都，李世民率领三千五百名骁勇向东赴虎牢。

李世民于正午时分出发，过北邙，至河阳，取道巩县而去。王世充登上洛阳城望见唐军行动，不知唐军意图，竟不敢出城交战。

癸未（二十五日），李世民进入虎牢。甲申（二十六日），带领五百骁骑，出虎牢，到城东二十多里处，观察窦建德的营地。沿路分别留下随行的骑兵，让李勣、程知节、秦叔宝分别统领，埋伏在路旁，只带四名骑兵和他一起前去。

李世民对尉迟敬德说：“我拿着弓箭，你手握长枪跟着我，就是来一百万人又能拿我们怎么样？”又说：“敌人看见我就返回，是上策。”

离窦建德营地三里处，李世民等与窦建德的游兵相遇，游兵以为他们是侦察敌情的斥候。李世民大喊：“我是秦王。”拉弓射箭，射死对方一员将领。窦建德军中大为惊慌，出动五六千骑兵追赶，跟随李世民的人都吓得变了脸色。

李世民说：“你们只管在前面走，我自己和敬德殿后。”于是勒住缰绳慢慢走，追兵快赶上了就拉弓放箭，每射一箭都杀死一人。追兵惧怕便停止了追击，停一会儿又重新追赶，几次三番，每次追赶上必定有人被杀死，李世民先后射杀了几个人，尉迟敬德杀死十几人，追兵不敢再进逼。李世民有意徘徊或稍稍后退引诱追兵到埋伏圈内，李世绩等人就奋力战斗，大败追兵，斩首三百多级，俘获窦建德的将领殷秋、石瓒返回虎牢。

于是李世民致函窦建德，说明：“赵、魏地区，历来为我大唐所有，现被您侵夺，只因为淮安王被俘受到您的礼遇，又蒙送回同安公主，所以彼此真诚相待放弃旧怨。王世充最近与您修好，但已有多次反复，现在王世充的灭亡就在眼前，却花言巧语引诱您，您于是就率领三军之众，来听从调遣，千金的军费，白白为别人而消耗，实在不是上策。如今与您的前哨相遇，他们不堪一击，您与王世充还没能相见，能不心中有愧吗？我所以稍挫您的锐气，是希望您能听从善意的劝告，如果您不听，恐怕将会后悔莫及。”

四月，唐益州行台左仆射窦轨率领巴、蜀兵马前来与李世民会师攻打王世充。

窦建德在虎牢受阻不能前进，停留了一个多月，打了几仗都未能取胜，将士们人心思归。丁巳（三十日），李世民派王君廓率领一千多轻骑抢夺窦建德的运粮队，再次打败了他，并俘获窦建德的大将军张青特。

凌敬对窦建德说：“大王您不如出动全部兵力渡过黄河，攻取了怀州、河阳，派重将守卫，又擂响战鼓竖起战旗，翻越太行山，进入上党，略地汾州、晋州，奔赴蒲津，这样做有三点好处：一是进入无人之境，取胜可以说是万无一失；二是开拓了领士召收兵马，国势更加强盛；三是关中的唐军受震骇，郑国洛阳之围自然会解除。眼下的计策，没有比这更妥当的了。”

窦建德准备按照凌敬的建议行事，但是王世充连续不断地派人来告急，王琬、长孙安世也日夜哭泣，请求窦建德援救洛阳，又暗地里用金玉收买窦建德手下的将领，阻挠凌敬的计划。诸将都说：“凌敬是个书生，哪里懂得打仗的事，他的话怎么能听呢？”

于是窦建德向凌敬道歉说：“现在大家士气很高，这是上天在帮助我，趁此机会决战，必定能大胜，不能照您的意见办了。”凌敬再三争辩，窦建德不高兴，命人把他架了出去。

窦建德的妻子曹氏对他说：“祭酒凌敬的话不能不遵从。现在大王从滏口趁唐国空虚，连营渐进夺取山北并、代、汾、晋等地，又借助突厥的军队向西抄掠关中，唐军必然回师自救，还用担心郑国的东都之围不解吗？如果在此地停顿不前，磨灭了士气，消耗了财力，要想成功，就没有日期了！”窦建德说：“这不是女人能懂的！我来救郑，郑如今处境很危急，就要亡国，我弃他而去，是畏惧敌人而背信弃义，不能这么做。”

唐军密探报告：“窦建德探听到唐军草料用完，在黄河以北放马，准备袭击武牢。”

五月戊午（初一），李世民向北渡过黄河，从南面逼进广武，侦察敌情，乘机留下一千多匹马，在黄河边放牧以引诱窦建德，当晚返回武牢。己未（初二），窦建德果然倾巢而出，从板渚出牛口列战阵，北靠黄河，西临汜水，南连鹊山，连绵二十里，擂鼓前进。

唐军诸将都十分惊慌，李世民带几名骑兵登上高丘望敌阵，对诸将说：“敌人从山东起兵，还没有碰见过强大的对手，如今身涉险境却很喧嚣，是没有纪律，逼近城池排列战阵，有轻视我们的意思。我们如果按兵不动，他们的勇气自然就会衰竭，列阵时间一长士卒饥饿，势必就会自动撤退，我们再追上去攻击，必然会取胜。我和各位相约，一过正午，肯定能打败他们！”

窦建德轻视唐军，派三百骑兵涉过汜水，在离唐营一里地方停止。派人通报李世民说：“请挑选几百名精兵和他们打着玩玩。”李世民派王君廓带领二百名长枪手应战，相互交锋，骤进骤退，双方不分胜负，各自返回营地。王琬骑着隋炀帝的青骢马，铠甲兵器都很新，远离阵前向众人夸耀。李世民说：“他骑的真是匹好马！”尉迟敬德请求去夺马，李世民制止他说：“怎么能为了一匹马损失一员猛士呢？”尉迟敬德不听，和高甑生、梁建方三人骑马直冲入敌阵，活捉了王琬，牵着他的坐骑奔回唐营，众人没有敢阻挡的。李世民让他去召回黄河以北的牧马，等他返回才出战。

窦建德排列战阵，从早晨到中午，士卒们饥饿疲惫，都坐了下来，又争着喝水，迟疑着想撤退。李世民命令宇文士及带三百骑兵经过窦建德军阵西边向南奔驰，告诫他：“敌人如果不动，你就带兵返回，如果动了，就领兵东进。”

宇文士及到窦建德阵前，敌阵果然动了，李世民说：“可以打了！”这时黄河滩上的牧马也已到达，于是下令出击。李世民率领轻骑先出发，大军跟随在后，向东涉过汜水，直扑敌阵。

窦建德的群臣正在朝谒，唐军骑兵突然降临，朝臣都跑向窦建德，窦建德召骑兵抵御唐军，因朝臣阻隔骑兵过不去，窦建德挥手令朝臣退下，这一进一退之际，唐军已到阵前，窦建德形势窘迫，后撤靠近东面的山坡。窦抗带兵攻打他，交战后形势稍不利。

李世民率领骑兵赴援，所向披靡。淮阳王李道玄挺身冲锋陷阵，直冲出敌阵后方，又重新返回冲入阵中，几番进出，身上聚集的箭像刺猬毛一样，勇气仍然不减，放箭射人，都应声倒地。李世民把自己备用的战马送给他，让他跟随自己，于是各军大战，战场上尘土飞扬遮天蔽日。

李世民率领史大奈、程知节、秦叔宝、宇文歆等人将旌旗卷起，冲入敌阵，从阵后而出，打开唐军旗帜，窦建德的士兵回头看见唐旗在阵后飘扬，迅速崩溃，唐军追出三十里，杀了三千多人。

窦建德被长枪刺中，逃窜到牛口渚躲避。唐车骑将军白土让、杨武威追逐窦建德，窦建德落马，白土让挺枪欲刺，窦建德说：“别杀我，我是夏王，献上我可以使你们得到富贵荣华。”杨武威下马捉住窦建德，用备用马匹驮着窦建德，来见李世民。

李世民斥责窦建德道：“我们讨伐王世充，与你有什么相干，竟跑到你的领土之外，来与我们交战！”窦建德说：“现在我不自己来，恐怕以后还得烦您远途去攻取。”窦建德的将士都逃走了，唐军俘虏了五万人，李世民当天就遣散了俘虏，让他们返回家乡。

王世充的将领王德仁放弃旧洛阳城逃跑，副将赵季卿以城降唐。李世民押解着窦建德、王琬、长孙安世、郭士衡等人到洛阳城下，给王世充看。

王世充流着泪和窦建德接话，于是李世民让长孙安世等人进城叙说失败的情况。王世充召集诸将商议突围，准备南奔襄阳，众将领都说：“我们依赖的是夏王窦建德，如今夏王已被俘，我们就是突围，最终也无法成功。”

丙寅（初九），王世充身穿白衣带领郑国的太子、百官及二千多人到军营门前投降。李世民按礼节接受他们投降，王世充俯下身汗流浃背。李世民说道：“你总认为我是个小孩，如今见了小孩，为什么这么恭敬？”王世充叩头谢罪。

于是李世民分派出一部分人，先进入洛阳，分别把守市场商店，禁止骚扰抢掠，没有一人敢违犯禁令。

丁卯（初十），李世民进入洛阳宫城，命令记室房玄龄先进入中书省和门下省，收集隋朝的地图户籍、制文诏书，但已经都被王世充销毁，没有找到什么。又命令萧瑀、窦轨等人封存了隋的仓库，没收金钱布帛，颁赐给将士们。

拘押了罪行特别大的十几名王世充的同党，有段达、王隆、崔洪丹、薛德音、杨汪、孟孝义、单雄信、杨公卿、郭什柱、郭士衡、董睿、张童儿、王德仁、朱粲、郭善才等，在洛水岸边斩首。

当初，李世绩与单雄信很要好，发誓同生共死。等到唐平定了洛阳，李世绩说单雄信骁健无比，请求用自己所有的官爵来赎单雄信，李世民不准。李世绩再三请求仍不得，痛哭着退下。单雄信对他说：“我早知道你办不成事。”李世绩说：“我不惜余生，和兄长你一同死；但是既然将这条命献给了国家，事情就无法两全。况且我死了以后，谁照顾兄长你的妻儿呢？”于是割下一块大腿肉，让单雄信吃下，说道：“让这块肉随兄长化为尘土，也许可以不负当年的誓言吧！”

老百姓痛恨朱粲的残忍，争相用瓦块砖头砸他的尸体，不一会儿堆成了一座小山。

李世民拘押了韦节、杨续、长孙安世等十几个人送往长安。

老百姓没有罪而被王世充关押起来的，一律释放；被杀死的，作诔文加以祭奠。

夏军败后，左仆射齐善行与建德之妻曹氏领百骑逃回洺州（今河北邯郸），窦建德余下部众打算拥立窦建德养子为王，齐善行排众议，最后带领百官以及传国玉玺向唐朝投降。

武德四年（公元621年）七月，窦建德被送至长安处斩。

李渊历数王世充的罪状，王世充回答说：“我的罪固然该杀，但秦王曾答应我不死”，李渊赦免，并且贬为庶人流放巴蜀。没几日，王世充仇家独孤机的儿子独孤修德，趁著防守不备杀掉了王世充及其兄长，高祖仅罢免了独孤修德的官位，后来其他王氏亲族也以谋反罪被处死。

窦建德被杀害后，昔日部下将士愤慨，推刘黑闼为王，半年内收复窦建德的旧地。武德六年（623年），刘黑闼被李建成平定。

在决定天下归属的虎牢关之战中，李世民将智谋、勇猛、耐心、果断等各种统帅才能发挥到了极至，窦建德率领精锐主力十余万人前来支援王世充，李世民仅用3500名玄甲精兵为前锋增援虎牢关，结果大破窦建德十余万众，窦建德战败被俘。随后，洛阳的王世充也被消灭。天下的局势完全转向了对唐军有利的一面。

李世民一举平定窦建德、王世充两大集团，统一中国北方，奠定唐朝版图基础，军功显赫，李渊特设天策上将策封李世民，也间接导致日后的玄武门之变。