1950年至1951年，安德罗波夫任第三届苏联最高苏维埃代表。

1951年至1953年，调到莫斯科中央机关工作，先后担任苏共中央对外联络部检查员和苏共中央第一处处长，同时进入莫斯科高级党校学习。

1953年至1957年，调任苏联外交部第四欧洲司，工作范围为波兰和捷克斯洛伐克相关事务，后被派往苏联驻匈牙利使馆任公使衔参赞。

1954年，安德罗波夫任苏联驻匈牙利特命全权大使。

1956年，匈牙利爆发反政府武装行动（匈牙利事件）。安德罗波夫把这一事件定性为“反革命事件”，立即建议莫斯科出兵镇压。在参与处理此次事件的过程中，安德罗波夫得到了苏共领导的赏识。

1957年，安德罗波夫被召回莫斯科，担任苏共中央同社会主义国家共产党和工人党联络部部长，主管社会主义国家相关事务，曾多次跟随赫鲁晓夫出访东欧国家并参加他们的党代表大会。

1961年10月，安德罗波夫苏共二十二大起当选为苏共中央委员。

1962年3月起，安德罗波夫连续当选为第六至十届苏联最高苏维埃代表。

1962年至1967年，安德罗波夫任苏共中央书记，仍兼联络部长。

1967年，安德罗波夫被免去苏共中央书记职务，接替谢米怡斯内伊任国家安全委员会（克格勃）主席。并兼任苏共中央政治局候补委员。

1968年在捷克斯洛伐克的“布拉格之春”事件中，安德罗波夫是实施“非常措施”的主要支持者。他亲自制定了一系列针对布拉格改革者的行动计划，后来以“进步行动”的名字为人所知。

1973年4月，安德罗波夫升为苏共中央政治局正式委员。

1976年，安德罗波夫获大将军衔（相当于军兵种元帅）。

1979年，安德罗波夫在苏联制定入侵阿富汗的决策时起了关键性作用。

据前苏联解密医疗档案显示，自20世纪70年代末起，安德罗波夫先后患有高血压、糖尿病、心律不齐、沙门氏菌病、动脉粥样硬化、结肠炎、关节炎、苔癣、痛风以及心肌梗塞等疾病，饱受病痛折磨。

1982年11月12日，勃列日涅夫去世两天后，安德罗波夫被选举为苏共中央总书记，成为第一个成为总书记的前克格勃领导人。

1983年的苏共十六届五中全会仅安德罗波夫缺席，之后他参与工作的时间大幅下降。同年7月和8月，安德罗波夫的健康状况不断恶化，大部分时候他在一个乡间别墅工作，往往起不了床；不过与勃列日涅夫不同安德罗波夫依然保持着清晰思考，每天浏览400页的文件，看文学期刊和电视节目。而当时访问莫斯科的德国总理科尔赶到时，他只能在医生和保镖的帮助下与其会面。

1983年9月1日安德罗波夫主持的的中央政治局会议后他到克里米亚休息。这是其最后一次参加会议，在克里米亚他得了感冒，最后产生脓肿（组织化脓性炎症），需进行手术。手术虽然成功，但术后伤口无法愈合。同年被《时代》杂志评为1983年的“年度风云人物”。

1984年2月9日，安德罗波夫因长期肾病而病逝，终年70岁。安德罗波夫的葬礼在莫斯科红场举行。美国和一些欧洲国家的领导人出席，包括前英国首相撒切尔夫人和时任美国副总统的老布什等。

安德罗波夫从苏联的实际情况出发，批评苏共纲领的一些内容脱离现实，超越了时代的发展，强调“谨防在理解我国接近共产主义最高阶段的程度方面可能出现的夸张”。他认为“苏联正处在发达社会主义漫长历史阶段的起点”，而且“这个阶段有自己发展的各个时期和阶段。”认为“盲目冒进，意味着提出实现不了的任务”。这无疑是对勃列日涅夫关于建成发达社会主义论断的重要修正或否定，“有助于人们更清醒地认识苏联所处的社会发展的性质，为调整各种政策，推进经济、政治改革奠定了理论基础”。安德罗波夫公开承认苏联政治制度缺乏民主，这对于过去苏联只提共产主义社会自治来说不失为理论上的一大突破。他提出要向使人民民主流于形式的做法“真正宣战”，大力发展社会主义人民自治。

在国内问题上，安德罗波夫主张“集体领导”，强调要“加强社会主义法制”，要有“有条不紊的国家机器”。他强调苏联社会应当是“有高度的组织性的社会”，要对损害国家安全利益的事情“采取不妥协的态度”。

安德罗波夫一上台就励精图治，把整顿纪律、改进党风作为突破口。他在担任总书记的就职演说中号召，“向任何违反党纪国法的行为作更有力的斗争”。他的反腐肃贪运动，矛头直指官僚政权。从1982年11月至1983年底，仅苏共中央、政府部长和州党委第一书记以上的高级干部，因贪污受贿或渎职而被撤换的就有90多人，包括勃列日涅夫的女婿丘尔巴诺夫等人。150个州级领导人中，47名被撤职。然而，他把长期腐败的近1/3的高官赶走后，用自己熟悉并信任的克格勃干部取而代之。在安德罗波夫时代，13名政治局委员中有3名克格勃将军，比例超过斯大林时代。

安德罗波夫深知，苏联社会“如不进行变革，这个体制本身将面临灭顶之灾。”所以，他十分重视体制尤其经济体制的改革。他反复强调生产力的深刻质变和与之相适应的生产关系的完善不仅迫在眉睫，而且势在必行。这是客观需要，无法绕过、不能回避，只有综合地全面改进管理体制，改革经济机制，才能充分地利用社会主义生产方式所具有的优越性。

经济上进行体制改革试验，推行农业集体和家庭承包制、在工业和建筑业中推广和完善承包作业队、工业部门给予工厂管理人员更多的权力，放松中央政府机构的控制。他还决定加强意识形态斗争，努力寻找提高质量、提高效率的形式。安德罗波夫发起了反对低效率的运动，狠抓了职工的劳动纪律，整顿了社会秩序。

安德罗波夫强化劳动纪律、整饬社会秩序以及推进经济体制改革取得了明显成效：1983年苏联工业总产值超额完成了年度计划，扭转了多年来增长速度不断下降和完不成计划的状况；农业生产也有发展，农业总产值比1982年增长了5%；整个国民经济的效率指标有所改善，社会劳动生产率增长了3.5%。此外，职工和庄员的工资和劳动报酬均有较多增长，市场供应也有了明显改善。

安德罗波夫任克格勃主席期间，发生了三起重大的国际事端。捷克斯洛伐克想建立“人道的社会主义”，于1968年闹起“布拉格之春”。他认为这是匈牙利事件的翻版，主张立即出兵镇压。1969年发生了珍宝岛武装冲突，苏联最高领导中有人要求对中国予以有力打击，他反对，勃列日涅夫赞同他的意见，冲突渐渐平息。而在1979年入侵阿富汗问题上，安德罗波夫对战争的爆发负有主要责任。

在对外政策方面，他继续执行勃列日涅夫时所推行的基本政策，但比较谨慎、克制，不主动挑起事端，行动较为收敛。因忙于内部事务，对外战略方针没有大的变化和调整。

在对待社会主义国家关系和发展中国家向社会主义过渡问题上提出了新的观点：由于各国具体条件和起点不同，因此各国建设社会主义的道路和方式不可能“千篇一律”，而是“多样的”；各国都有“自己独特的创造”，不能“互相模仿”。“一体化的需求”同各国的利益之间“会产生矛盾”。认为过去把社会主义国家看成整齐划一，处处一致是错误的。他的这些观点比勃列日涅夫时期强调各国必须遵循所谓“共同规律”和各国主权“有限”的观点相比，是个重大变化。

在中苏关系方面，安德罗波夫也基本上继承了勃列日涅夫生前表示要实现两国关系正常化的方针，但实际上并没有为消除中苏关系正常化的障碍而采取实质性步骤。安德罗波夫对中国问题比较熟悉，先后四次来中国，其中包括1959年陪同赫鲁晓夫来华访问，1963年率苏联最高苏维埃代表团访越路过中国，以及1965年随同柯西金赴越南访问路过中国。他曾参加1963年7月和1964年11月的中苏两党会谈。安德罗波夫执政期间主张“改善苏中关系”、“恢复苏中两国人民的友谊”。

尤里·安德罗波夫作为苏联安全工作领导人升任为苏共党的最高领导人，这在苏联历史上还是第一次。在勃列日涅夫时代就享有“一个现代的有专业知识的、机智灵活的干部”的名声。安德罗波夫被俄罗斯人广泛认为比戈尔巴乔夫更加赞成渐进而富有建设性的改革。被当时的苏联人民看作彼得大帝、斯大林那样的“明君英主”。（俄罗斯格·阿·阿尔巴托夫著《苏联政治内幕：知情者的见证》）

安德罗波夫执政时期是苏联历史上“非常重要而富有启迪意义的治理时期。”苏联解体后的五年，俄罗斯民意调查表明，“得到正面评价最多”的前苏联党和国家领导人一直都是安德罗波夫。（俄罗斯B.B.罗科索夫所著《第十三个五年计划：成功与失败》）

安德罗波夫“重新捡起了列宁主义的清廉传统”，决定调查并逮捕绝大部分行径骇人听闻的滥用职权者。这些调查如此的令人恐惧以至于勃列日涅夫小圈子里的一些成员利用“手枪、煤气和其他各种手段”迅速的自我了断。（美国历史学家多米尼克·大卫）

安德罗波夫常常被描绘成一个有教养的、具有学者风度的形象。“他继承了老派的革命家的优秀品质......是新社会的真正建设者......一个受过高等教育的人......懂得很多，并擅长文学，喜欢音乐，写诗。”（前苏联克格勃将军博布科夫回忆）

“安德罗波夫政策对当时苏联经济发展的影响是显而易见的”，“需要对尤里·弗拉基米罗维奇的遗产进行公正的研究”（俄罗斯自由经济学会在安德列波夫诞辰95周年的会议）

安德罗波夫作为苏联最高领导人，在执政一年零三个月期间，进行了大胆的改革工作，大刀阔斧地进行人事调整，为发展国民经济和提高人民福利事业方面取得的进展作出了贡献。在整顿劳动纪律和完善经济机制的试验方面取得了比较显著的成效，在这方面采取的措施获得了苏联群众的支持。有评论认为他的改革思路跟中国邓小平的相当类似，如果他的身体状况更好一些，苏联可能走上与中国相类似的改革道路，但由于健康原因安德罗波夫没有能继续下去。（大公网）

在任克格勃主席十五年中，安德罗波夫强化了克格勃组织，建立了一个较稳固的权力基础。而西方学者认为，他在匈牙利和阿富汗问题上的态度导致了后来冲突的大规模爆发。（德国威尔弗里德·洛思著《莫斯科，布拉格和华沙：抵制勃列日涅夫主义的冷战历史》）

由于安德罗波夫为苏共和苏联国家作出了贡献，他曾多次受到嘉奖。

1971年，“蒙古人民革命50周年”勋章。

1974年，在他60岁生日时被授与“社会主义劳动英雄”称号、第三枚列宁勋章和“锤子与镰刀”金质奖章。

1979年，获得第四枚列宁勋章。

1960年代至1970年代，获劳动红旗勋章、十月革命勋章和红旗勋章。

1978年，他曾获“苏联军队60年”典礼奖章和蒙古苏赫·巴托尔勋章。

安德罗波夫有过两次婚姻。第一任妻子为妮娜·延加雷切娃，生有女儿热涅奇卡（叶夫根尼娅的爱称）和儿子沃洛佳（弗拉基米尔的爱称）。第二任妻子为塔季扬娜·菲利波夫娜，生有儿子伊戈尔和女儿伊琳娜。

安德罗波夫被任命为克格勃主席后，一连干了15年。在他的领导下，克格勃茁壮成长，由惩罚机关变成世界上最庞大的情报机关，成了苏联的形象代言人。他因患眼疾而戴上的“蛤蟆镜”，也被看作其总头目的标志。

安德罗波夫个人兴趣广泛，有着多方面的爱好，从现代爵士音乐到美国小说他都很感兴趣。他英语流利，喜欢看原版英文小说，还擅长写爱情诗，但千方百计掩饰这些“资产阶级趣味”。他记忆力过人，几乎能逐字逐句地复述刚看完的百页文字。

安德罗波夫不论对家人，还是对自己，都始终严格要求，不搞特权，不谋私利。他的一个亲属是某剧团的二三流演员，一般都演配角。但在安德罗波夫出任总书记后，他的这位亲属也跟着得到提升，突然演起了主角。安德罗波夫得知后，立即打电话给剧团团长：“为什么您让我这亲属演主角？他还不配！他只能跑龙套！”

担任苏共中央总书记期间，安德罗波夫的月薪同其他中央政治局委员一样，为1200卢布，相当于当时苏联职工平均月薪的5-6倍，但他省吃俭用，常常把工资的一部分交给秘书，让他给一所孤儿院的孩子们买短上衣。

安德罗波夫的时间观念极强，他有事邀人面谈，此人到他的接待室，待约定时间一到，秘书就会立刻请此人走进他的办公室。这时，不论他在跟谁谈话，也不论是否已经谈完，他都会马上对其下“逐客令”，转而接待预约者。

苏联解体后，几乎所有苏联最高领导都遭人诟病，安德罗波夫是唯一的例外。2004年6月，卡累利阿共和国为他新立了一座3.5米高的不锈钢纪念碑，这是苏联解体后俄罗斯国内首次为前苏联领导人立碑。

而且安德罗波夫是除了列宁外至今惟一一个在莫斯科有同名道路纪念的人，俄罗斯还有20余个城镇街道以其名字命名。

2014年俄罗斯发行了带有克格勃徽章的安德罗波夫纪念邮票。