八一九事件后，苏军进行了全面清洗，国防部部长、副部长，各军兵种司令、各军区司令等80%的高级将领被撤换或提前退休。坚决支持叶利钦的空降兵司令格拉乔夫被破格提拔为苏联国防部副部长，并由中将晋升为上将。1991年12月，前世界超级大国之一的苏联瓦解了。1992年3月16日，俄罗斯总统叶利钦发布命令，宣布组建俄罗斯国防部，并接管俄境内原有的苏军以及波罗的海边防军区和外高加索军区部队。4月3日，叶利钦总统发布命令，任命42岁的格拉乔夫上将为国防部第一副部长，此时兼任国防部长的是叶利钦总统本人。6月18日，格拉乔夫被叶利钦任命为国防部长，其军衔晋升为大将，成为领导着280万强大俄军的首脑。

1992年9月，刚任国防部长不久的格拉乔夫在接见国际社会团体“大会”理事会成员时说：“俄罗斯总统颁布的关于武装力量非党化和非政治化的命令将无条件得到执行。军人中谁离不开政治，就让他搞政治好了，但他首先必须离开军队。” 从此，格拉乔夫成为叶利钦在军队中最可信赖的心腹之一。61岁的叶利钦总统和42岁的格拉乔夫成了政治上的忠实盟友，格拉乔夫也成为俄罗斯最高决策层——安全会议的成员。

格拉乔夫说，世界上任何一支军队现在都没有面临如此灾难的现状，都没有遇到俄罗斯军队所遇到的史无前例的局面格拉乔夫说：俄军建设和国家安全受到明显的威胁。如果不尊重军队，不改变对它的拨款态度，不改变对新兵配备的态度，不完善立法，那么军队近期内将不可逆转地丧失战斗力。

这位年富力强、精力充沛的部长痛心地警告说，世界上任何一支军队现在都没有面临如此灾难的现状，都没有遇到像俄罗斯军队所遇到的如此史无前例的局面。对格拉乔夫来说，面临的第一个头痛的问题是部队缺少资金，军人待遇低下。据俄《独立报》报道，早从1992年开始，俄军多数军人家庭的生活水平已滑到贫困线以下。俄联邦国防部社会学、心理学和经济研究中心的资料表明，42%的军官妻子没有工作。1993年2月，由于军队伙食太差，驻在俄罗斯远东岛的舰队某部发生急性肠道病，数百名水兵因此住院，4人经抢救无效死亡。据述4人是被饿死的。为此，格拉乔夫十分生气，他签署命令，解除了俄海军太平洋舰队司令赫瓦托夫海军上将职务，令其退役。格拉乔夫说，1994年按规定国防部应得到拨款37.7万亿卢布，国防部现在只收到18.8万亿卢布。今天，政府欠军队总债务已达8万亿卢布。拨给军队的所有资金还不够支付军人的薪金。据说，目前俄军用于过冬用的燃料仅能维持正常需要的60-70%。到1994年底没有住房的俄军人家庭将增至17万家。俄军陷入空前危机之中。

由于军人待遇低下，俄罗斯青年人拒绝服兵役现象剧增。由于部队缺额严重，相当一部分士兵职责，如站岗放哨等只好由军官来完成。随着部队纪律涣散，军队腐败问题也日渐突出。1993年已大约有3000名军官受到纪律处分，46名将军被撤职。士兵的违法案件也在增加。1993年3月，莫斯科军区4名军人向西方特工机关提供了有关俄部队组成和军事装备等国家绝密情报，以换取外汇。结果这4名军人被判间谍叛国罪。格拉乔夫认为，官兵的人员短缺是军人纪律松懈的一个主要因素。他说，“今天，许多性格残忍和倾向暴力的青年被应征入伍。仅1993年的新兵中就招收了3.4万名有犯罪前科的人。结果，军队中恶性案件的数量增加25%。”社会问题的日益尖锐，也引起了军官的不满。俄军的一项调查指出，42%的军官表示，如形势不好转将离开军队，33%的军官和50%军事学校的学员对未来没有信心。但是，任何人也不希望恢复旧的体制。

在西方军事家的眼中，格拉乔夫是一个捉莫不定的国防部长，有的认为，他是具有民主思想的俄罗斯新一代将军，也有人认为他仍是一个具有强烈大国主义思想的民族主义倾向严重的人。他在伦敦皇家陆海军研究所发表题为《俄罗斯的防务政策》演讲时说道：“我们深信，我们会看到一个大俄罗斯的复活，它将在国际事务中占有自己的应有位置。”不过，最令西方吃惊和不安的，还是由格拉乔夫主持制定的俄罗斯新军事学说。

1993年11月，俄罗斯通过了自苏联解体以来首次制定的军事学说。在这份长达24页的纲要中，有许多新的变化。其中，最惊人的变化是放弃了原苏联1982年作出的不首先使用核武器的政治承诺。此举标志着俄安全政策特别是核政策的重大变化。因为从目前来看，核武器是俄罗斯唯一有效的战略威慑武器。在俄当前困难时期，唯有核武器能支撑其大国地位，继续与美国平起平坐，是俄确保其国家利益和国际地位的一张王牌。波兰《华沙生活报》则认为，新军事学说是“超级大国的宣言”。

1993年10月3日至4日，俄罗斯独立以来愈陷愈深的社会危机和总统与议会间愈演愈烈的权力斗争，终于酿成一场血腥残杀。叶利钦总统下令给格拉乔夫，调动正规军开入莫斯科，炮轰议会盘踞的“白宫”，造成127人死亡，600多人受伤。在这场决定叶利钦总统生死攸关的大搏斗中，身为国防部长的格拉乔夫再次显得格外引人注目。议会议长哈斯布拉托夫、副总统鲁茨科伊

当时叶利钦为国防部的犹豫不决而忿恨不已，他亲自前往国防部为格拉乔夫及最高军事层“活动关节”，要求他们动用军队镇压。最后，在总统亲自参加的那次国防部会议上的关键时刻，批准了攻打“白宫”（俄联邦议会大厦）的计划。可是，格拉乔夫却面容惨白，他结结巴巴地问总统：“您批准我在莫斯科使用坦克了？”叶利钦站在门口，既尴尬又恼怒，他字斟句酌地说道：“巴威尔·谢尔盖耶维奇，我将下达给您一个书面命令。”接着格拉乔夫又向叶利钦索要“使用重武器”的书面命令，国防部长的用心良苦，他不想承担最后的重责，这使他将来有可能从中解脱。当天夜里，叶利钦从国防部回到克里姆林宫后，立即吩咐助手们草拟给格拉乔夫的书面命令。可是，由这些人最终拟就的下达给国防部长的命令中，却根本没有可以使用坦克和炮火的字眼，甚至根本没有可以使用轻武器的字句。这是一件十分微妙的事情，假如有一天需要走上法庭，甚至有人控告叶利钦下令炮打“白宫”，那时总统完全可以这样说：“在我的命令中，没有一个字表明我是赞成使用武力的，没有这样的字句。至于国防部长命令使用坦克炮火进行射击————这应该由他负责。 尽管叶利钦对格拉乔夫在此事件中的表现欠佳不悦，但仍没有改变对其的信任，并没有解除格拉乔夫的职务。俄军一些军官认为，“叶利钦需要格拉乔夫，因为他是一位忠实的国防部长，他没有拿破仑分子的那些企图。”

转型期间，极易滋生腐败，格拉乔夫也有瓜田李下之嫌。有人披露，俄罗斯从东欧各国撤回军队的过程中，国防部长从中渔利，大肆分肥，还被西方媒体取了个外号，称其为“保时捷-梅塞德斯先生”。一位以揭露军内丑闻而著称的记者被害，格拉乔夫再次成为众矢之的。总统发言人维亚切斯拉夫·瓦西里耶维奇·科斯季科夫说：“有50%的军人不喜欢自己的部长，说格拉乔夫应该辞职。”1994年10月17日，《莫斯科共青团报》从事军事报道的记者霍洛多夫接到一个匿名电话，说有一个内装揭发西部军队集群领导受贿的材料的公文包在市内喀山火车站的行李房内，请他取走。当他在办公室打开公文包时，发生了爆炸。霍洛多夫一向注重军事题材的报道，触及到军队的阴暗面和敏感问题。军方对霍洛多夫意见颇大，格拉乔夫曾公开称，霍洛多夫是“国防部的头号敌人”。由此，霍洛多夫在俄社会中小有名气。

事件发生后，《莫斯科共青团员报》总编辑说，霍洛多夫是西部军队的黑社会势力所谋害致死，国防部长格拉乔夫、副部长布尔拉科夫参与了这一谋杀事件。格拉乔夫竭力反驳，说霍洛多夫大概是在处理他从高加索带回的手榴弹时被炸死的。“这是黑势力的一个阴谋，其目的是给军队和政府抹黑”。霍洛多夫之死震动了俄最高层。叶利钦在俄安全会议上带头起立为霍洛多夫默哀半分钟，但同时指出，把霍洛多夫之死与格拉乔夫联系起来是“不严肃”的。由于格拉乔夫去年10月派兵镇压了反对派的叛乱，现在反对派向格拉乔夫复仇。

其实，此次要求格拉乔夫下台的不是反对派，而更多的是民主派。俄罗斯民主选举的领导人叶戈尔·盖达尔、俄总统新闻发言人科斯季科夫等一批民主派政治家参加了霍洛多夫的葬礼。盖达尔表示，格拉乔夫应该辞职。科斯季科夫说，格拉乔夫应该对这一事件作出符合逻辑的反应。“或是辞职，或是向法庭提出诉讼。”在社会舆论的强大压力下，叶利钦下令解除了布尔拉科夫副部长职务，但同时力保格拉乔夫。他说，格拉乔夫是俄最有力的国防部长，受到人们的尊敬。10月25日，格拉乔夫在接受《独立报》记者采访时说，他不打算辞职，但当他感到总统对他不信任时，他将立即辞职。

格拉乔夫目前在军队中也遇到了强有力的挑战。俄军驻摩尔多瓦第14集团军军长列别德中将便是其中之一。1994年11月16日，直言不讳的列别德在俄《独立报》上发表文章，公开批评军队和政界领导人听任军队腐败。他说：“我们拥有一支军队——但这是一支军队吗？如果再听之任之下去，这个异常庞大的组织就要腐烂掉。”他认为，军队领导人向政府、议会和公众隐瞒了军队灾难的真实情况。这位直爽的中将公开说：“我想有一天当上国防部长。”由于列别德常常发表一些公开批评国防部长格拉乔夫的言论，1994年8月5日俄《消息报》在头版刊登消息，说格拉乔夫要解散14军，列别德将被免去军长一职。闻此消息，列别德情绪激动地说：“为了摆脱戈尔巴乔夫，有人摧毁了苏联，为了搞掉我，有人正在摧毁14军。”后来，是叶利钦亲自决定保留14军，并称列别德是“唯一在一个邻近国家扑灭了一场战火的军人。”但不久列别德就被迫离开军队。

车臣冲突中，格拉乔夫又受命于危难之际，率兵进军车臣。外电评论说，车臣冲突决定着格拉乔夫的命运。位于高加索地区的车臣共和国，3年来一直是俄罗斯最动荡的热点地区。1994年11月26日，车臣两派再次爆发激战，造成500多人伤亡，其中车臣还俘虏了20多名俄军，使俄与车臣当局的对抗由间接转为直接，并且公开化。由于车臣地形复杂，多为山地。如果俄出兵伐之，则善于山战的车臣人躲进山中与俄军开展游击战，会不会使俄军再背上一个“新的阿富汗战争”？车臣120多万人口中，大多数为穆斯林，且人人手有枪，进军车臣会不会引发整个高加索战争？所以，在俄车双方和谈长期没有进展的情况下，俄罗斯在是否要动用武力解决的问题上争论不休。

在这棘手的难题面前，叶利钦又一次把解决车臣问题的重任交给了国防部、内务部和联邦反间谍局，其中格拉乔夫又是义无反顾地冲在最前线。叶利钦在向全国发表的电视讲话中承认，现在最困难的是那些处于车臣前线执行任务的俄军人，国防部长和内务部长也很困难，因为军队面对的是最危险的罪犯。

其实，总统的话只说对了一半。对格拉乔夫而言，困难还不仅仅如此。俄军进入车臣，遭到了议会及军内高级将领的反对。特别是国防部内高级将领的反对对格拉乔夫的打击更大。国防部副部长鲍里斯·弗谢沃洛多维奇·格罗莫夫1994年12月26日在苏联出兵阿富汗15周年的一个会议上，再次批评俄军出兵车臣。他说，苏军在阿富汗战争中献出了人4万名官兵的生命，可惜现在的俄领导人仍未从中吸取教训。英国《泰晤士报》1994年12月14日发表评论认为，车臣冲突决定着莫斯科领导人的命运，而且还将决定着俄政府中一些关键人物，特别是格拉乔夫将军的命运。如果这次军事行动出了问题，格拉乔夫的政治生涯几乎肯定会就此告终。

格拉乔夫将军当国防部长，很多人并不看好。老人们说，格拉乔夫从师长的职务上连续跳跃多个阶级成为国防部长，他的工作能力没有得到全面的锻炼，因而很难胜任这一崇高的职务。而老将军们却觉得这位连跳几级的新部长“就像猫爬上了篱笆”。军官们说，传统上国防部长都是由陆军将军担任的，格拉乔夫伞兵担任国防部长违背了苏联传统。然而，格拉乔夫性格上的弱点才是他真正无法胜任国防部长职务的关键。格拉乔夫将军无限忠于叶利钦。似乎这位性格刚毅的伞兵师长认识到忠诚才是他平安地度过任期的关键。格拉乔夫的口头禅是“经最高统帅授权”或者“最高统帅同意了……”。据说有人曾询问一位他身边的上将事实是否真的是这样，上将叹了口气说：“这完全是真的。不过问题糟糕就糟糕在这里。

好斗的、思想敏捷的、尖锐的叶利钦在政治上实际是一个易动摇、无原则和思想肤浅的总统。据说，某次叶利钦总统出访日本，未征询其他人，他就向日方主动提出解决北方四岛归属问题。在他出访韩国时，虽未应韩国要求，他向韩国主动提供了当年苏联击落韩国波音飞机“全部的”磁带资料。但不久韩国人就发现这仍然是经过删减的资料，从而引发外交的丑闻。他还向韩方承诺不再建设远东太平洋潜艇部队，俄军总参谋部对此甚至还不知情。豪言壮语的总统忠诚的国防部长也有同样的毛病。据说。1995年格拉乔夫出访中国，正值中国在签署终止地下核试验的条约生效之前最后一次试爆核武器。格拉乔夫兴高采烈地在北京宣布，北京将停止试验核武器。不久，北京的外交部发言人被迫声明，中国从来没有授权俄罗斯的国防部长替自己做这么一个声明。还有一次，格拉乔夫出访以色列，并乘坐以色列的飞机在戈兰高地巡视。这引起了俄罗斯的传统伙伴叙利亚的极度愤慨。

如果说，格拉乔夫的全部缺点仅限于忠于总统和对外交关系的无知上，那并不完全影响他作为一个国防部长发挥自己对俄武装力量发挥建设性的作用。事实上格拉乔夫在任职期间最大的弊病是自己政治上的懦弱和对于权势过分的贪婪。自叶利钦担任俄罗斯总统以来，他时时刻刻同俄罗斯日益式微的国势和自己日益恶化的健康状况作斗争。格拉乔夫向叶利钦总统所作的汇报不外是，俄军仍然保持着较好的战备水平，再有就是财政拨款的请求。到了车臣战争爆发之前一个月，格拉乔夫才正式向叶利钦总统承认，俄军的情况很糟，几乎处于崩溃的边缘。叶利钦总统也才对于俄军可怕的处境表示出“恍然大悟”。格拉乔夫还有一个缺点，就是格拉乔夫对俄军当中具有较高才能和较高声誉的将军的妒嫉。格拉乔夫主持国防部工作以后，他选拔的副手都是参加过阿富汗战争的人或者是空降兵的“自家人”。格拉乔夫对此辩解说：“我就是要用这些我熟悉的人帮助我尽快开始国防部长的工作。”其他的将军则被排斥在一边。即使是格拉乔夫身边的人中，也不乏富有经验的将领。比如鲍里斯·弗谢沃洛多维奇·格罗莫夫将军，他曾是格拉乔夫在阿富汗的领导，后担任国防部副部长。但由于此人性格耿直，和格拉乔夫关系处得不好，很快被逐出军队。因此，格拉乔夫的亲信当中往往是那些贪婪而无能的人。

俄军总参谋长米哈伊尔·彼特罗维奇·科列斯尼科夫上将属于俄军当中一级一级提拔起来的将领，拥有丰富的作战经验，颇受俄军总参谋部军官的拥护。但他性格懦弱，政治上首鼠两端。他虽然反对草率地发动对车臣的战争，但却没有明确地提出自己的主张。他和格拉乔夫一同指挥了第一次车臣战争，也将自己的名字深深地刻在俄罗斯的耻辱纪念碑上。

关于俄军什么时候才开展对车臣作战计划这个问题，有着很多矛盾的说法。比较能够让人接受的实际情况是，俄军总参谋部以及内务部很早就开始谋划。但是由于没有明确的解决车臣问题的目标和方案，军事计划都没有落到实处。预定投入战斗的部队都没有进行动员和加强，以及巷战、游击战和人道主义援助的训练。

1994年12月，格拉乔夫飞抵印古什，和杜达耶夫会面。这次会面得到了叶利钦总统的同意，是最后一次试图用和平的办法解决问题的机会。据格拉乔夫回忆，他们两位将军在一间屋子里单独会谈，格拉乔夫说：“焦哈尔，这是你最后的机会了。”杜达耶夫不相信，问他：“难道你们真的要冲我们打来吗？”“是的，要打来，”格拉乔夫回答说，“决定已经做出了，你就准备这一场真正的战争吧。但是如果承认你们所有的决定都是非法的，还不迟。”“我不能放弃这些决定。”“为什么？”格拉乔夫问道。“我不属于我自己。如果我作出这样的决定，我就会再不存在了——将会有其他人完成我们通过的决定……”格拉乔夫问道：“那就是打仗了？”杜达耶夫回答说：“打仗。”几天之后，俄罗斯军队开入车臣。

当1995年冬，俄军在付出巨大代价之后攻占车臣首府时，车臣游击战却轰轰烈烈地展开了，在国防部的各个部门都传送着令人吃惊的消息：俄军陷入泥潭，前往车臣平叛的俄军被俘后遭到惨杀。他跑到指挥中心，亲自指挥军事行动，却屡屡受挫，最后灰头土脸地跑回莫斯科。1995年元旦，格拉乔夫在庆祝生日的酒会上酩酊大醉，情不自禁放出狠话：“只需十多个小时的狂轰滥炸，格罗兹尼（车臣首府）的麻烦便迎刃而解。”

这场战争被称为“恢复宪法秩序”。战争用的是斯捷潘申的耳朵，洛博夫的眼睛，沙赫赖的嘴，格拉乔夫的拳头，叶林的头脑，然而良心却是叶利钦的。克里姆林宫内总统叶利钦的态度日趋和缓，此时他正邀请车臣地方势力首领杜达耶夫一同谈判，不再称其为匪徒，而任其自称“捍卫车臣独立”的英雄。而当时决策出兵正是总统自己。人们开始思考这些问题：杜达耶夫何以能组建成这支有着超凡战斗力的军队？这支军队的精良、雄厚的武器装备来自何处？这个问题多次涉及到沙波什尼科夫元帅，他曾是苏联解体时期的国防部长，后来是独联体国家武装力量司令。一些人认定是他没有保管好武器，并把大量武器转交给了杜达耶夫。

1995年1月8日，沙波什尼科夫决定向公众澄清真相，他在题为《消息》的电视节目中肯定地说：是格拉乔夫做出的把武器转交给杜达耶夫部队的最后决定。为了证实这一点，他还拿出了1992年5月28日的俄罗斯国防部的一份密码电报。 原来九十年代初，随着苏军的解体，各共和国对苏军遗产的瓜分风起云涌，而苏军最高官方也默许甚至鼓励了这种瓜分。格拉乔夫曾于1992年5月28日向北高加索军区司令员下达命令：准许从173号军区军火库库存中转交给车臣共和国以下作战技术、武器、财产和物质材料备件，其数量为：作战技术和武器——50%；弹药——2个战斗基数；工程弹药——1%-2%；汽车技术和特殊技术设备、财产和物质材料备件在当地按剩余的价值计算。但是后来这些物资的95%留在了车臣。同时，苏军曾在车臣建立巨大的化学武器仓库，现在也落到了车臣战斗队员手里。在开战前，杜达耶夫可能拥有：大约130辆坦克，265架作战飞机，以及大约2万名战斗队员。

1996年第一轮总统选举结果公布后，叶利钦已经看明白，他是否能赢得战胜根纳季·安德列耶维奇·久加诺夫的足够选票还不十分托底。而要想在第二轮选举中战胜对手，这很大程度上取决于亚历山大·伊万诺维奇·列别德。于是，总统突然与“黑马”列别德将军搞起合作来。这段时间里，他已是第三次在克里姆林宫召见列别德，他开诚布公地告诉列别德：为了俄罗斯，我需要您的支持。1996年6月17日那天晚上，总统对列别德说了许多人们从未听过的赞扬之辞。当谈话进行到军队必须改革这个话题时，列别德提到了许多格拉乔夫的问题，叶利钦此时已是心照不宣，表情严肃地说：“我完全明白，亚历山大·伊万诺维奇，有关格拉乔夫的命令文件我已经准备发出了，让我们一起干吧，别再迟疑了。我请您明天再到克里姆林宫来，我要把您介绍给人民。”

列别德离开克里姆林宫几分钟后，总统的助手们立即通知格拉乔夫：最高统帅现在召见您。格拉乔夫怀着忐忑不安到来，似乎早已有预感。叶利钦先是王顾左右而言他，还询问了格拉乔夫的身体状况。然后叶利钦话题一转：“还记得您上次的许诺吗？”格拉乔夫想起他曾对总统说过：为了总统大选的胜利，我愿激流勇退。听到这里，格拉乔夫面色铁青，他说：“我全明白了。”叶利钦接着说：“今后列别德将是我的安全事务助理，你怎样看待这件事？”格拉乔夫立即回答：“我不能在列别德手下工作。”

第二天克里姆林宫来了新任的国防部长，前任格拉乔夫不辞而别。此时，总统办公桌上罢免格拉乔夫大将俄联邦国防部长职务的命令已签就，同时，叶利钦又像签署1992年5月对格拉乔夫任职命令一样，签署了对列别德的任命。

1997年2月23日，一名记者问格拉乔夫：“您觉得过去犯了什么错误，以至于那么多人反对您？”他的回答是：“我的第一个也是最大的错误就是同意去当国防部长。”

2007年，叶利钦去世，格拉乔夫立即被解除职务，他在两种体制中分得的政治红利，此时走到了尽头。算不得老迈的格拉乔夫将军，从此赋闲在家，据称重病缠身。2012年9月12日夜，他因为突患急症被送进医院，11天后不治身亡。医院最后称，将军死于脑膜炎，而不是有人曾经怀疑的蘑菇中毒。 消息传出，俄总理梅德韦杰夫与总统普京先后向其亲友表示慰问。俄国家杜马国防委员会主席科莫耶多夫表示：“格拉乔夫被迫根据独立后的俄罗斯的任务对军队进行改革，这对他来说是个十分沉重的负担。”他还指出，格拉乔夫不得不做出一些艰难的决定，后人对此评价不一。