1931年，葛罗米柯加入苏联共产党，开始从事政治工作，但此时，他主要精力仍放在学术研究上。1934年，葛罗米柯从明斯克农业专科学校毕业。由于他成绩优秀，又到莫斯科的列宁经济学研究所学习了两年，并在那里担任研究员。与此同时，他还在莫斯科的公共设施建筑大学里兼课。在他当时的学生中，就有后来担任苏共中央政治局委 员、莫斯科市委第一书记的维克托·瓦西里耶维奇·格里申。

1936年至1939年期间，葛罗米柯在《经济问题》 杂志编辑部工作。这期间他写了《关于世界经济危机后美国的发展》的论文，并因此获得了经济学副博士学位。由此可以看出，葛罗米柯开始是研究经济学的。据他的自传表明，由于受社会风气、风尚的影响，当时的葛罗米柯也曾热衷于当一名驰骋蓝天的飞行员。不幸的是，由于年龄限制，使他未能如愿。

1939年初，党中央的一个委员会邀他去。这个委员会负责从共产党员中挑选一些可以派到外事、外交岗位上去的新的工作人员。他从事共青团尔后为党工作的经历，引起了领导人的注。接待他的就是当时的外交人民委员莫洛托夫。他被任命为苏联外交人民委员部美国司司长。他怀着一种模糊不清的心情接受了这项新的工作，因为一切来得太突然了。1939年7月，他又被召回克里姆林宫，他第一次与约瑟夫·斯大林见面，当时莫洛托夫也在场。斯大林宣布任命他为苏联驻美国大使馆的参赞。几个月后，他和夫人利季娅·德米特里耶夫娜带着两个孩子，到了大洋彼岸的美国。就这样，30岁的他，开始了真正的外交官生涯。

四年以后，他又接替马克西姆·李维诺夫担任了驻美国大使，其年葛罗米柯才34岁。当时，第二次世界大战已进入尾声，苏联迫切需要与美国划分好势力范围，确定战后的国际秩序。没有折冲樽俎的本领，显然是不能胜任驻美大使之要职的。葛罗米柯抵美国向罗斯福总统递交国书后，马上就开始了紧张的外交活动。第二次世界大战过程中，苏军经过艰苦斗争，1943年初出现了根本性转折。但战局在继续，形势的发展产生了许多需要立即研究解决的问题，苏、美、英三大同盟国领导人举行的各种会议就成了交换意见和协调行动的重要环节。这些会晤的目的是解决如何作战并取得胜利的问题，同时也为战后建立一个世界性的组织奠定了基础。1943-1945年期间，这样的会议共开了3次，分别在德黑兰、雅尔塔、波茨坦举行，葛罗米柯参加了后两次会议。此外，他还率苏联代表团或以苏联代表团成员的身份参加了一系列其他级别的会议——部长级、大使级的同盟国会议，其中包括参加关于建立联合国善后救济总署问题的会议、敦巴顿橡树园关于建立联合国问题的会议等。

战后初期的1946年至1949年，葛罗米柯奉调回国，担任外交部副部长。在前两年中，他还担任苏联驻联合国安理会的常任代表，在联合国的裁军会议上使用了42次否决权，成了有名的“否决先生”。 从这时起，他差不多每天都要思考裁军问题，包括谈判、会见及许多其他工作。1949年以后，担任外交部第一副部长。1951年9月4日至8日召开了旧金山会议，葛罗米柯率领苏联代表团参加了这次会议，研究和制定旧金山和约。

1952年6月，葛罗米柯被任命为苏联驻英国大使。又是斯大林把他召回克里姆林宫，斯大林强调了这个岗位的重要性，并特别指出，“在战后的国际事务中，英国也能够起不小的作用。但富有经验和工于心计的英国外交将朝哪个方向发展还不完全清楚”。“我们需要能够把握其外交动向的人。”由此而见，葛罗米柯到英国所提负的任务的分量和斯大林对他的器重。 上任一年后，他把在美国任职期间开始动笔写的《美国资本的输出》一书脱稿，并获得了莫斯科大学学术委员会授予的经济学博士学位。

在斯大林逝世的1953年，葛罗米柯回国再任外交部第一副部长，积极辅助莫洛托夫。1955年5月，他曾代表莫洛托夫，随赫鲁晓夫、尼古拉·亚历山德罗维奇·布尔加宁、米高扬、谢皮洛夫一起访问南斯拉夫。向南共联盟 “道歉”。1957年2月，继列夫·达维多维奇·托洛茨基、格奥尔基·瓦西里耶维奇·契切林、 马克西姆·李维诺夫、维亚切斯拉夫·米哈伊洛维奇·莫洛托夫、安德烈·雅奴阿列维奇·维辛斯基、德米特里·特罗菲莫维奇·谢皮洛夫之后， 担任十月革命后的第七任外交部长，长达28年。

葛罗米柯在党内的地位也日益提高。在驻英大使任期内，他被选为中央候补委员；接着，在赫鲁晓夫做秘密报告的苏共二十大上，他升为中央委员。十六年后，在1973年4月的苏共中央全会上，他直接当选为政治局委员。在此之前，外交部长进入政治局的只有莫洛托夫。在同一次会议上增选的政治局委员还有当时的国防部长安德烈·安东诺维奇·格列奇科（也是从普通的中央委员“跳入”政治局的）和国家安全委员会主席、政治局候补委员尤里·弗拉基米罗维奇·安德罗波夫。此外，在1946年至1950年、1958年至此，葛罗米柯还是最高苏维埃的成员。1953年3月，葛罗米柯又被任命为部长会议第一副主席。安德罗波夫上台 后，他与国防部长德米特里·费多罗维奇·乌斯季诺夫一起，成为支撑安德罗波夫政权的两根重要支柱。1983年4月，在莫斯科的列甫琴科美术馆中，设立了葛罗米柯的半身像。在当时的苏联领导人中，没有一个人能享受这种像“殊荣”，由此可见他是不同凡响的。

1958年8月，葛罗米柯秘密访问中国，在北京同毛泽东主席进行了会谈。主要讨论了当时中美关系中由于美国采取的政策使中国沿海岛屿出现的紧张局势。

1961年4月，美国雇佣军对古巴吉隆滩进行武装入侵，苏美关系出现了尖锐化的局势。1962年10月18日，葛罗米柯受苏联领导人的委托，在白宫同美国总统肯尼迪进行了会谈，向美国总统阐述了苏联对古巴事件的立场。但由于苏美在古巴的利益决定了双方的意见相差甚远，这次谈话没有取得任何成果。葛罗米柯后来回忆说：“48年来，我曾同9位美国总统谈过话，这次同肯尼迪的谈话大概是最难谈的一次了。”

1965年，葛罗米柯以外交部长身份访问巴黎时，把苏法关系比喻为“缓和的微风”。当时乃至以后几年，在整个苏法合作的发展中起决定作用的是政治关系。最高级会晤和接触起了巨大的推动作用，在这些会晤和接触中，研究解决了双边关系的迫切问题。讨论了欧洲及世界政治中的症结问题，葛罗米柯曾多次访问过法国，参加了近20年来所有的苏法最高级会谈，为苏法关系的发展尽了自己的力量。

1970年8月12日，葛罗米柯代表苏联政府签订了《莫斯科条约》。这是他经过艰苦的外交努力取得的成果。苏联方面极为重视这个条约，称它是“欧洲各国和平关系体系中的一个极其重要的环节。它有力地推动了欧洲安全和合作事业，使世界政治气候健康化的事业向前发展”。

1984年9月28日，在苏美高级政治接触中断四年之后，葛罗米柯率领苏联代表团出席联合国大会时，应里根的邀请，与里根进行了会谈。谈话的内容涉及对双方政策的评价。由于双方立场上存在着原则分歧，当然不可避免地发生冲突。经过多年艰苦地马拉松式谈判，葛罗米柯花费了大量心血，终于在1987年12月8日让苏美两国首脑签订了苏美消除中短程导弹条约。

作为苏联的外交部长，他曾在艾森豪威尔、肯尼迪、约翰逊、尼克松、福特、卡特、里根这些美国总统面前一一显示过其外交手腕，至于其他国家的元首及政府首脑就根本难以计数了。他站到演讲台上，可以口若悬河地讲上两小时，不用看讲稿。会见记者时，他从来不用什么稿子，只消几十秒钟看一下助手给他记下的提问要点，他马上可以回答。无论问到什么问题，他都能对答如流，以至人们称他为“俄国的计算机”。 如上所述，葛罗米柯是苏联历史上第一位职业外交官出身的外交部长。他所走过的路程，就是一部生动的现代苏联外交史。

作为第一线的外交官，葛罗米柯已经历了斯大林时代、马林科夫时代、赫鲁晓夫时代、勃列日涅夫时代，安德罗波夫时代。由于他进入政治局已有多年，在方针大计上，他发挥的作用愈益增加。戈尔巴乔夫就是经他力荐成为苏共中央总书记的。

1985年，爱德华·谢瓦尔德纳泽接替葛罗米柯出任外长。这时，除了菲律宾著名外交家卡洛斯·佩纳·罗慕洛，他是世界上担任外长第二长时间的人，同年葛罗米柯出任苏联最高苏维埃主席团主席，三年后辞职。1989年7月2日，葛罗米柯在俄罗斯旧格罗梅基去世。葬于莫斯科新圣女公墓。