1927年4月，已经是旅长的黄维纲率部参加北伐，先后在河南、江苏等地与张宗昌的军阀部队作战。1928年1月，黄维纲奉命配合友军进攻徐州。在这次战役中，他发扬西北军带兵官以身作则的勇猛作风，亲率所部发起冲锋。在激战中，黄维纲臂部负伤，但坚持不退，仅在稍事包扎后又继续投入作战。所部官兵见状，也都奋勇争先，终于成功在敌军阵地上撕开一道口子，有力地配合友军光复徐州。战后，黄维纲的“勇略”之名传遍全军，他也因功被授予当时西北军中的最高奖励——“革命奖章”。

北伐战争胜利后，黄维纲的部队被裁撤，他被调到训练总监部任步兵监。蒋冯战争爆发后，黄维纲又被调到冯玉祥身边任参谋官。在此期间，他参与制定作战计划，并屡次下部队协调各部作战，充分展示出他亦战亦谋的才能。

1930年中原大战爆发，黄维纲随部参战。同年8月，他被调任新编第1师第1旅少将旅长。这个旅虽有官兵千余，但却都是新兵，装备更是严重缺乏。就在黄维纲一方面抓紧训练，一方面争取装备补给时，反蒋联军却在10月战败，冯玉祥、阎锡山等军政首脑纷纷宣布下野。黄维纲无奈之下，只得带着自己的新兵部队跟着主力退往晋南。在那里，他与张自忠有了深入的接触。

当晋南西北军接受南京国民政府改编为第29军（初称东北边防军第3军）后，黄维纲所在的新编第1师被缩编为第38师第112旅第223团（初称第2师第4旅第7团）。在部队缩编、高级军官大量编余的情况下，黄维纲却被第38师师长张自忠举荐为团长，着实令人感到意外。

黄维纲在北伐时期曾是张自忠第23师的旅长，但时间较短，张随即调掌第28师，彼此间交集不多。但张自忠担任过学兵团团长，他知道黄维纲在学兵团的名声，也深知优秀的军校毕业生将对军队发展起到的重要作用。而西北军中以行伍出身者居多，少有军校生出任部队长者。黄维纲在其中属“异类”，他长期在部队任营、团、旅长，拥有丰富的作战经验。因此，当张自忠在拥有对第38师人事的举荐权后，便决定继续给黄维纲带兵的机会。对此，黄维纲感激万分，他更加努力练兵，以期在随时有可能爆发的抗日战争中建立功勋。不久，张自忠又提拔黄当上了第112旅少将旅长。

1933年3月长城抗战爆发，黄维纲所在的第38师奉命开赴喜峰口阻击日军侵犯，他则率领第112旅主力担负撒河桥预备阵地的构筑任务。战事延至4月12日，日军对滦阳发起猛烈进攻，黄维纲则率领所部四个营于松树胡同实施阻击。

在面对占据火力优势的日军进攻下，第112旅的伤亡不断增加，营长杜国邦也在激战中阵亡。为提升士气，黄维纲光着膀子亲赴一线督战，并下令组建突击队向日军反突击。激战中，黄维纲又一次负伤，但仍坚持不退，并鼓励士卒与阵地共存亡。经两天激战，终将日军击退。此战第112旅伤亡600余人，但为稳定喜峰口方面的防线起到重要作用。此后，黄维纲率部在秋户峪、景隆寺至柴庄子一线布防，左与第109旅相连，右与第224团相接，承担起第29军防线中央地段的守备重任，直至奉命撤出战斗。

喜峰口战役，使第29军闻名全国，成为一支著名的抗日名军，黄维纲也因在这一战役中表现出色，被授予青天白日勋章。此后黄维纲率部戍守张家口，一度在察东击退了日伪军袭扰，为察东局势的稳定作出贡献，他也因此被授予四等宝鼎勋章。

黄维纲的表现使他在第38师中的地位不断提高，甚至超越了副师长李文田和张自忠的嫡系部将们。1937年7月抗战全面爆发后，黄维纲率部坐镇小站，并参与策划了进攻天津日军的战斗。平津沦陷后，第38师扩编为第59军，因张自忠陷于北平无法归队，即由黄维纲接任第38师中将师长一职，此后他率部在津浦线节节阻击日军。

1938年3月，黄维纲根据已经接掌第59军军长的张自忠命令，率部驰援临沂。为解临沂守军之围，黄维纲决定连夜急行军，并借用夜色强渡沂河，以突然袭击的方式对包围临沂的日军发起猛烈进攻。日军反应迅速，立即组织防御，使第38师连攻数日，伤亡颇大。为取得进展，黄维纲又一次亲临前线督战，并发扬当年在松树胡同的精神，以师长之尊赤膊上阵，督促所部再接再厉，终以惨重的伤亡突破日军防线。在第38师和第180师的互相协同下，临沂之围得解。

日军为了能够在台儿庄顺利会师，决定再攻临沂，打通道路。黄维纲率领所部与临沂守军第40军互相配合，在不计伤亡、奋勇拼杀的情况下，终使日军顿挫于临沂城下。日军见无法夺取临沂，被迫留置一部牵制中国守军，以主力绕道而行。临沂一战，第38师15000余人战至6000余人，不得不将所剩官兵缩编为一个旅。但第38师以其惨重的伤亡，有效拖延了在日军在台儿庄会师的步伐，是促成台儿庄大捷的关键因素之一。

徐州会战结束后，黄维纲又率部陆续参加了武汉会战、随枣会战和冬季攻势。在武汉会战中，黄维纲督率所部于潢川死战。随枣会战和冬季攻势则两次获得鄂北大捷，这其中尤以冬季攻势中的第二次鄂北大捷最为知名。

当时日军趁中国军队主力尽数出动的机会，抽调一个联队的主力绕袭中国军队后方补给基地——长寿店。如果长寿店丢失，则第5战区右翼集团参战各部将因断绝补给而不得不后撤，日军则可趁此机会实施反击，进而有歼灭右翼集团的危险。

在此危急情况下，时任第33集团军总司令兼第59军军长的张自忠急命黄维纲率领第38师回援。黄维纲不负所望，连夜率部急驰，在友军最后一道防线即将被日军突破时赶至。他随即与友军取得联络，并适时对日军发起前后夹击，终于成功将日军击退，保障了长寿店的安全。此后各路援军抵达，数部合兵一处从正面发起反攻，使战局恢复到战前态势。黄维纲是两次鄂北大捷的关键人物之一，冬季攻势结束后，他被晋授三等宝鼎勋章。不仅如此，他还奠定了自己在第59军中的二号地位。

1940年5月枣宜会战爆发时，张自忠命黄维纲代理指挥第59军。就在黄维纲率部于宜城作战时，张自忠所率领的总部人员却不幸陷入日军包围，混战中，张氏力战成仁。黄维纲虽然抽调部队回援，却回天乏力，只能在获此噩耗后派遣突击队，将张自忠的遗体夺回。

张自忠阵亡后，第33集团军总司令由冯治安继任，第59军军长一职则由众望所归的黄维纲正式接掌。黄维纲履职后，日夜操练所部，并严明军纪，使第59军继续保持着第5战区主力部队的地位。在1941年初的豫南会战中，黄维纲率部于南阳以西阻击日军，并于2月6日夜成功收复南阳县城，成为这次会战中为数不多的亮点之一。

就在黄维纲的抗日生涯达到颠峰之际，他却因积劳成疾而被迫前往重庆疗养达一年之久。但黄维纲惦记前方战事和战友部属，他在病体没有痊愈时就匆匆返回防地，终因前线医疗落后，病情加重，不幸于1943年8月3日病逝于湖北南漳安家集金华寺防地，时年仅46岁。他的遗体在经过武镇、宜城、襄樊、老河口至邓县时，沿途驻军及地方各界都纷纷置以路祭，时任第5战区司令长官的李宗仁也派遣参谋长徐祖诒在老河口路祭。

黄维纲病逝后，第59军军纪每况愈下，甚至在抗战胜利前夕发生了南漳东巩乡乡民代表曾子勋、蔡东生等人向国民政府控诉驻军“纵兵殃民”事件。时人有云，“如震三将军仍在，必不如此”。又有人认为假如黄维纲仍然在世的话，必定是张自忠统帅的第33集团军的理想接班人。

1943年10月21日，国民政府追赠黄维纲为陆军中将。

1944年1月31日，国民政府发布褒扬令，准许入祀忠烈祠。褒扬令如下：陆军第五十九军军长黄维纲，秉性忠贞，优娴战略，北伐之役转战南北，懋着勋劳，参加长城、临沂、潢川、随枣、襄河诸战役，无不身先士卒，所向有功，乃以积劳致疾，殁于防次，良深悼惜，应予明令褒扬，并将生平事迹，存备宣付国史馆，用彰忠荩，而励来兹。此令。

黄维纲将军墓位于项城市郑郭镇张堂行政村范营村西北隅，直径约1.8米，高1.3米，墓前立石碑一通，高约3米，墓四周有仿古墙保护。