卫国战争初期，任西方面军第22集团军参谋长，该集团军在维捷布斯克、大卢基和涅韦尔抗击了敌优势兵力的猛攻。1941年8月起任布良斯克方面军参谋长，该方面军未能阻止德国古德里安的第二坦克集群向基辅后方迂回，致使苏联西南方面军被全歼。德国发动台风行动后，布良斯克方面军深入重围，在司令叶廖缅科中将负伤后，他以少将衔任该方面军司令，指挥少量部队冲出重围。1941年12月降任西方面军副司令，随同朱可夫参加了苏军在莫斯科附近的反攻。1942年5月起先后任北高加索方向和北高加索方面军的参谋长。1942年8月起任东南(斯大林格勒)方面军参谋长。1942年10月起任斯大林格勒方面军副司令。再次追随安德烈·伊万诺维奇·叶廖缅科上将。苏军在斯大林格勒地区反攻作战中，他成功地指挥了方面军左翼各集团军。后任南方面军副司令。1943年2月起任第51集团军司令，参加了解放罗斯托夫的作战。1943年7月调任近卫第2集团军司令，该集团军在突破敌米乌斯河、莫洛奇纳亚河、彼列科普坚固设防阵地和收复塞瓦斯托波尔的作战中，战功卓著。1944年6月起任接替著名的防守将军伊万·叶菲莫维奇·彼得罗夫担任白俄罗斯第2方面军司令，参加了著名的白俄罗斯战争，对解放白俄罗斯做出了重大贡献。后来因为大本营代表朱可夫要取得攻占柏林的荣誉，把白俄罗斯第1方面军司令罗科索夫斯基排挤到非主攻方向的白俄罗斯第2方面军来来司令。扎哈罗夫大将只好在1944年11月起降级去当大本营预备队的近卫第4集团军司令，该集团军11月转隶乌克兰第3方面军，参加布达佩斯战役和巴拉顿湖战役。1945年1月，近卫第4集团军各兵团抗击德军最精锐的党卫军第6坦克集团军冲击，德军的有生力量超过苏军2倍，火炮和迫击炮超过3倍，坦克超过5倍。激烈的战斗持续了5天，而德军仅向前推进6—8公里就再也打不下去了。希特勒气的下令收回该集团军的袖标以示惩罚。这对在前线苦战的党卫军约瑟夫·迪特里希乌克兰第4方面军司令彼得罗夫第三次被免职后，扎哈罗夫的老上级页廖缅科从波罗的海第2方面军转任过来，又把他要去当方面军副司令。