1942年3月23日，击落了50架敌机的格拉夫荣升中尉，并成为9./JG52的中队长。后来在9./JG52中队中，除了格拉夫外，尚有数位骑士铁十字勋章的得主，包括阿尔弗雷德·古里斯劳斯基（133架，最后升至上尉，橡叶骑士铁十字勋章）、史坦因巴次（Leopold Steinbatz，99架，最后升至少尉，佩剑橡叶骑士铁十字勋章）、苏斯（Ernst Suess，68架，最后升至中尉）、福尔格拉贝（Heinrich Fuellgrabe，67架，最后升至中尉）。格拉夫在与中队里众多好手相切磋下，战技更加精进。葛拉夫就和这些大英雄们一同猎杀敌机，特别是绰号黑死神的IL-2M3地面攻击机，这种飞机常造成德国步兵、驻地及据点重大损失。

就在东部战线南段，德军攻势正猛烈进行，葛拉夫的中队在克里米亚附近，因为接获进一步的军事行动而暂停下来，而德军的战车及步兵部队在这附近陷入苦战，葛拉夫及其中队的队员奉命保护这座战线后方的空军基地。葛拉夫想对前线的部队提供些援助，他再一次请准起飞去出任务而遭到拒绝。直到一个下午，他略施小计瞒过了这基地的指挥官，一位年老的上校，葛拉夫要求准许他起飞前往前线作战基地，这位老上校下令准许他起飞。整个中队跟着上尉升空，但他并没有向前线基地飞去，反而下令转向烽火中的前线。这些飞行员在前线上空以环行大编队前进，他们看到了炮兵发出的火焰，飞行中的炮弹如同由地面上喷出的人造喷泉一般，前线的战况十分激烈，上空弥漫着一层灰色的云雾，葛拉夫保持2000公尺的飞行高度，并搜索苏联飞机。他突然看见有几架苏联战机飞进附近的薄雾中，并消失不见了。葛拉夫下令中队保持巡弋高度，而他自己则下去看看“下面到底发生了什么事”。他一头钻进地面的云雾里，并一直下降到50公尺的高度，正好在前线上空飞行，接着他看到的景象让他倒抽一口冷气。

地面上一辆德军突击炮正缓慢地爬行于丘陵间，另有一群步兵随之在后，4架IL―2型攻击机正攻击这辆突击炮，用机上的机枪攻击在到处找寻掩蔽的步兵。若葛拉夫没及时赶到，所有的德军都要成为苏军的牺牲品，葛拉夫立即发动攻击，但有一架IL―2随即朝天而来。葛拉夫扣下扳机，而敌机立刻爆炸坠毁。几秒钟后他立即咬住另一架IL―2的机尾，一串炮火把这架飞机的右翼打掉了。剩下两架飞机立即逃之夭夭。其中一架成功逃走，另一架则让史坦巴兹中士击落。落地之后葛拉夫的指挥权立即遭到缩减，他的上司为了要处分这位不服从命令的中队长，不得不做下决定。而葛拉夫试图向他的长官解释，他及他的飞行员出的任务，对于身陷敌机攻击而一筹莫展的德军地面部队有多重要时，他的长官反而更生气，并把他赶了出去。

这样的行动已足以说明葛拉夫的特长。在他的飞行生涯中，总把重点摆在支援地面部队为先，其次才是寻求空战的战斗。他特别喜欢袭击敌军反战车炮、机枪据点以摧毁其抵抗力，并攻击补给纵队。他只要发现敌机一显出攻击德军地面部队的意图，就会毫不犹豫地去迎击他们。

其他飞行员在谈到葛拉夫的飞行时，都盛赞其高超的飞行技术，及在作战中大胆而无私的表现。在贝尔托德．约希姆（Bertold K．Jochim）所著《赫尔曼．葛拉夫上校――13个月创下200架敌机记录》（Oberst Hermann Graf――200 Luftsiege in 13 Monaten）一书曾提到由葛拉夫叙述他最艰难的一场空战，一场他名之为“骑士决斗”的空战：

富尔格拉柏陷入困境，敌军编队中的长机飞来像是位第一流的飞行员，并让富尔格拉柏穷于应付，我立即向他发动攻击。我们对头通过，第二架苏联飞机立即失去接战的勇气，并逃到几公里以外之地。我命令汉里希（富尔格拉柏）别挡住我的路。

接着我在东线最回味及最危险的一场追逐战随之展开，我使尽了一个飞行员所学及这架战机所有能做的空战动作，1000公尺半径的回旋、回转，一次又一次地交互使用。汗水真的浸透我全身。我的对手飞得至少和我一样好，我甚至惊讶他能一次又一次的躲过我。回旋是一个接着一个，我们一次又一次地对头攻击。只有在最后一分钟他拉高闪到了我前面，这又是我的机会了，我和他几乎撞到一起，接着其他苏军战机都飞回来，我才刚有一点喘息的机会，第二架苏军战机立即飞走，而我先前的敌人在我后面，但至少隔了400公尺远。眼见机不可失，我向第二架苏联飞机开火攻击。这架飞机陡然带高之后就陷入水平旋转，一直到他坠落地面为止，看来我把这名敌军飞行员的头给打碎了。

富尔格拉柏由无线电向我报告全部的情况，我根本没时间观察。敌军高手仍然在我后头，现在他又追近到我200公尺以内。我立即向地面俯冲，我很快地瞄一眼空速计，每小时600公里，速度够了。这对戴姆勒奔驰引擎而言会引发过热。1200公尺高度十分安全，我全速脱离苏联战机而爬升，我俩现在互相拼命爬升，很快就爬到3000公尺。我的敌人又向我发动攻击，他想替他的伙伴报仇。新一回合的战斗开始，另一个10分钟很快过去，心理上我每次都是挥动帽子向他发动攻势。他一定是苏军的顶尖高手，我想是的，我觉得我经年接受各种飞行训练是非常有价值的，要不我早让他给击落了。

再过5分钟后我座舱内的警告灯亮了起来，这表示油箱中的油还够我飞行20分钟。我离本军的前线还有50公里远。也就是说事实上我必须在现在终止我和他的缠斗并回航，但我心中一种想法油然而生，让我放弃在此刻回航的念头，我若现在就走则表示他获胜了，至少象征意义上是。而他现在还在我背后，越来越把我赶进苏军战区。绕了一圈之后，我们彼此飞得更接近。有一次我并没有直接飞向他，而是试图飞向他另一边。很奇怪的他也做相同的动作，而我们就一次又一次的飞到对方的另一面，而距离仅有数公尺。他现在要干什么？也许是想要飞过头，然后给我致命的一击？我突然有几秒钟看不到他。接着，不可思议的事发生了！他向东飞去，而我向西飞。我在回程时用尽我剩余的油料，引擎在我一落地就熄火。

在我爬出座舱时我的两腿在发抖，这个对手真厉害！祝贺我又击落两架敌机的声音把我一下拉回现实。我一直在想刚才和我交手的苏军飞行员的事，我真的希望有一天我能和他坐下来聊聊，他真是个绝佳的飞行伙伴。

在四、五月间，格拉夫缔造了个人的记录，他在十七天之内击落了47架敌机，分别是他的第58至第104架；而在5月14日这天，他与其序号为Werk-Nr7420的Bf-109F4爱机击落了7架敌机，使他记录自98架一举打破100大关。格拉夫成为战斗机部队中第七位破百的飞行员，仅次于两天前8./JG54中队长的奥斯特曼中尉（Oberleutnant Max-Hellmuth Ostermann，102架，国防军第十位佩剑橡叶骑士铁十字勋章得主），他因此于5月17日成为国防军第九十三位橡叶骑士铁十字勋章的得主。但是这样仍不足与他的辉煌成绩相衬，国防军总司令部决定在两天后又颁发给他更高一级勋章——佩剑橡叶骑士铁十字勋章。于是，格拉夫在三天之内接连得到两枚高级铁十字勋章，这是其它战斗机飞行员从来没有的记录。

格拉夫于八月份击落29架俄机，累积达140架；九月份他又创下了丰硕的战果，他于短短四周内击落了第127至第202架敌机。格拉夫本来有希望成为第一位击落150架的飞行员，但是JG77’红心A联队’联队长戈登·格罗布少校（第三位钻石佩剑橡叶骑士铁十字勋章得主）在8月击落了40架，一举超越格拉夫而拔得头筹。格拉夫在六天之后的1942年9月4日成为第二位击落150架敌机的飞行员。到了9月16日，格拉夫的第172架牺牲者落入他和他的Bf-109G2的手中，格拉夫因而获颁最高等级的钻石佩剑橡叶骑士铁十字勋章，成为国防军中第五位获此殊荣的军人。在八个月内，格拉夫一举收齐了所有四个等级的骑士铁十字勋章，由此可见格拉夫的精湛战技。

9月26日，格拉夫和他的Bf-109G2击落了三架敌机，一口气打破两百大关（第199至第202架），成为空战史上第一位达到两百架的人，下一位是I./JG54‘绿心联队’第1大队大队长汉斯·菲利普上尉（206架，全军第八位佩剑橡叶骑士铁十字勋章得主，于六个月后的1943年3月17日达到，半年后在西线的JG1联队长任内被P-47击落身亡，官阶中校）。

总计格拉夫在光辉的9月中击落了62架敌机。在帝国宣传部部长戈培尔博士的渲染下，这位出身铁匠且没读过很多书的飞行员，在三年内自上士升到少校的经过广为德国的人民所知，顷刻间，赫尔曼·格拉夫的大名被帝国的宣传机器传遍第三帝国每个角落，格拉夫也成为纳粹党年轻党员们效法的对象。

1942年9月26日这天将葛拉夫调离作战联队，前往空军总部担任高级参谋。在离职前葛拉夫在斯大林格勒上空绕行一圈以便向他队部的同志及长官道别：“在斯大林格勒的同志们，祝你们好运！卡拉亚一号现在要离场（卡拉亚一号是葛拉夫的无线电号）接受上级的命令调职。”然后他飞着那架和他共同缔造击落75架敌机的Bf-109战机前往新基地报道。格拉夫转往德国、奥地利各地巡回演讲。

格拉夫在战前效力于FC霍恩队，足球技巧不错的这位钻石佩剑橡叶骑士铁十字勋章得主还组建了一个叫‘红色战士（Roten Jaeger）’，主要由前德国国家队队员组成的足球队并且亲自担任守门员，为德国的空军作宣传。这支球队包括教练，格拉夫从前的队友塞普·赫尔贝格，以及前国家队队员，战后的西德队队长弗里茨·瓦尔特。接着没多久，帝国联邦体育训练部开始介入此事，他们不想让葛拉夫联队长继续踢足球。联盟致德国大元帅戈林一封请求函件，要求戈林禁止葛拉夫再玩足球，因为联盟想要建立专业球员制度。但赫尔曼·戈林在文末写了个简短的批示：“假如葛拉夫想踢足球，那就让他继续踢吧。”战斗机总监阿道夫·加兰德也对葛拉夫这项嗜好知之甚详，每每在开作战会议提到葛拉夫时，他都会说：“我知道葛拉夫不管到哪，都带着一堆足球队员。”

帝国大元帅戈林对葛拉夫的评价甚佳，并仔细考量由他来担任作战部队指挥官的可能。1943年1月，格拉夫出任位于法国南部的东部战斗补充大队（Jagd-Ergaenzungsgruppe-Ost）指挥官，他的主要任务是：拦截飞越德境上空的盟军轰炸机。这时他飞的是一架编号Werk-Nr2594的特殊改良的Fw-190A5战机，机首右侧装有类似后来Fw-190D9的额外进气口，以改善Fw-190A系列为人诟病的高空性能不足问题。格拉夫并曾驾着这架Fw-190A5实地观察美军的大编队重轰炸机。德国本土上空的空战现已如火如荼地展开，葛拉夫是获颁钻石骑士十字勋章而在从事“祖国防空作战”任务的德国飞行员，1943年，鉴于美国第八航空队的重轰炸机攻势有趋烈的现象，德军因而成立了第50战斗机大队（JGr50），用以对抗来犯的美机编队。甫升少校的葛拉夫成为这个新大队的大队长，他因此将过去在9./JG52时的部下调往西线一齐飞行，包括古里斯劳斯基中尉、苏斯少尉、福尔格拉贝上士。JGr50下辖两个中队，古里斯劳斯基中尉是第一中队的中队长，他们使用的是Bf-109G6/R6，除了Bf-109G6原有的一挺过桨心的MK108 30mm机炮、两挺整流罩上方的MG17 7.92mm机枪外，还在两翼下各加装了MG151/20 20mm机炮荚舱各一，以对付甚难击落的B-17重轰炸机。有些Bf-109G6也能于翼下发射21cm口径的WGr.21空对空火箭，用以在远距离外打散B-17的箱型编队。在1943年11月JGr50解散前，格拉夫总共击落了3架B-17飞行堡垒四引擎轰炸机。12月16日，格拉夫接掌负责本土防空的第11战斗机联队（JG11），开始再次专职担负防空的任务。美军频繁的来袭使得格拉夫无法再过以前那种悠闲的日子，而必须日日与美军的箱型编队搏斗。1944年3月29日，他又击落两架空战堡垒式轰炸机，并追击许多试图赶走德军拦截机的盟军护航战斗机，但葛拉夫的队员们仍然顽强地攻击轰炸机编队。葛拉夫突然遭到4架敌机的追击，并且要把葛拉夫和他的僚机分开，但在一阵混乱及一阵子弹发射的响声过后，葛拉夫觉得他已经输了。他的弹药耗尽，并且只剩能回航的燃料，但是美军战机仍绕着他四周转，不让他逃走。他决定采取一些行动，表现出军人宁死不屈的风范：他用最大速度冲向一架敌机，然后把油门关掉，逼近一架敌机，最后整个贴了上去。这架美军战机的座舱罩立即碎裂，并进入大角度俯冲。但葛拉夫的飞机也是一样，没法继续在空中保持姿态及能量。这景象太壮观了，他的机翼严重受损，在空中翻转并以剧烈旋转冲向地面。其他几架美军战机跟着这架重损的梅塞施密特战机俯冲并准备施予最后一击。葛拉夫要逃生只有一个法子：跳伞！这架飞机已丧失太多高度，但葛拉夫还是得试试。他的降落伞在最后一刻才完全张开，只离地面150公尺高，幸好这个着陆是十分轻柔。葛拉夫落在一片沼泽里，救了他一命。但是他还是受了重伤，而必须送医救治。幸运之神再度眷顾他，医生为他做了成功的手术，而保住了他的左臂。葛拉夫本想从病床上指挥他的部队继续作战，但戈林阻止他这样做，戈林告知葛拉夫在他伤愈出院后将出任他的老单位，第52战斗机联队联队长，这段期间就安心养病吧！就在出任52联队联队长之前，葛拉夫最担心的是空军的发展。德国空军战斗机已无法阻止盟军飞机入侵德国，所有战斗机联队联队长相互咨询后，决定推派战斗机总监加兰德，代表这些接受最高授勋的飞行员们去晋见戈林。他们关心的问题是：空军的强化措施、扩大喷射战斗机的计划，及起用许多有能力的专家。葛拉夫及其他各作战联队长要求戈林要“尽最大努力以阻止盟军继续掌握制空权”。但帝国大元帅却一心只想依赖那些尚未及时服役的“秘密武器”，会议结束了，但什么决定都没做成。总计格拉夫在西线击落了10架美军轰炸机与战斗机，使他的记录升到212架。

在医院休养了半年后，格拉夫于1944年10月1日重回东线，接掌他的老单位——JG52联队长的职位，并晋升中校。阔别了两年后的东线战场，已经大大的改变。此时战线已被俄军推回德、波边界，而联队长大部份都在地上指挥，因而没有升空作战的机会。1945年5月德国战败投降，此时JG52正在捷克境内，若是向俄军投降，则必定会成为俄军阶下囚，因此JG52所属的航空队指挥官塞德曼将军拍发电报给JG52，命令联队中的两位钻石佩剑橡叶骑士铁十字勋章得主——联队长赫尔曼·格拉夫上校及其所属第1大队大队长（I./JG52）埃里希·哈特曼少校（352架）离开原属单位飞往多特曼（Dortmund，鲁尔工业区附近）向英军投降。格拉夫很清楚要是他们这两位加起来击落数超过560架俄机的飞行员落入俄国人手中会发生什么样悲惨的命运，但是格拉夫在与哈特曼商议后，决定违背塞德曼将军的命令。因为与联队在一起的还有两千多位平民与家属，他们决定留下来带领他们一齐向西逃逸，以便向正往布拉格方向挺进的美军巴顿将军的第3集团军投降。

在路上葛拉夫和其弟兄在一个市场突袭了5辆被捷克人俘虏的虎王式战车，并在附近地窖中救出其组员，他们就开着着5辆战车一同去向美军投降。美军第90步兵师的士兵接管这批德军，并将他们送往一个容纳30000人的战俘营。军官还可以保留他们的手枪，每件事看来都是合乎荣誉的做法。可是到了5月17日这天，大出葛拉夫意料之外，美军将整个联队移送给了苏联人。因为依据美俄间的协定，JG52的人员必须交由俄军来处理，于是格拉夫上校和哈特曼少校便被送往俄国人的劳改营。不幸地是，格拉夫在劳改营中选择了与俄国人合作，提供他们德国空军的作战准则，以及协助俄国人训练他们的空军，以寻求减刑的机会。虽然格拉夫完全照俄国人的要求去作，但是俄国人将他扣留到1949年12月29日才将他释回德国。而且，由于他在狱中与俄国人的合作，格拉夫在回国后便不受谅解，像击落301架，排名第二，获颁佩剑橡叶骑士铁十字勋章，同样在JG52服役的G·巴尔克霍隆少校就常对格拉夫冷眼看待。

格拉夫在战后曾经写了一本名为《十三个月击落两百架》（200 Luftsiege in 13 Monaten，200 Victories in 13 Months）的自传，来说明及辩解他在狱中的想法，但是还是得不到谅解，同样类似情况的还有击落108架的橡叶骑士铁十字勋章得主，汉斯·哈 恩少校（Major Hans Hahn）。哈恩少校在1943年2月因发动机故障迫降在俄军防线而被俘， 在劳改营关了七年，战后写了一本《我说了实话》，却被哈特曼等其他一齐被关的飞行员讥为胡言乱语。在得不到同袍谅解的情况下，格拉夫只有重回老本行作铁匠，从此之后对有关大战的事绝口不提。1988年11月4日，格拉夫于家中逝世， 享年76岁。