阿巴库莫夫年轻时曾当过杂工、包装工、装卸工、武装警卫队队员。1930年，当他在苏联消费合作社中央联社一个库房给自己谋取到一个职位后，被吸收入党，他的仕途也由此开始。

后来，阿巴库莫夫被选为压力机厂共青团支部书记，而后被任命为共青团莫斯科郊区委员会军事处处长。

1932年，阿巴库莫夫凭一纸党内介绍信被调入内务人民委员部系统。头一年他先后任苏联人民委员会国家政治保安总局莫斯科州代表处经济处（负责同国民经济中的破坏活动作斗争）侦缉办案人员和特派员。1933年他被调往国家政治保安总局中央办公厅经济局，1937年，他被调入内务人民委员部国家安全总局二处。这个处专门从事搜查、逮捕、跟踪和安装窃听器等活动。

1938年12月阿巴库莫夫从莫斯科转移到罗斯托夫，在那里他很快的升迁为内务人民委员部罗斯托夫分部的领导人。他于1941年2月12日回到莫斯科，在国家安全人民委员部担任少校职务。接下来国家安全人民委员部与内务人民委员部合并，他被任命为副内务人民委员，成为了拉夫连季·帕夫洛维奇·贝利亚的助手。1941年7月19日，阿巴库莫夫成为了内务人民委员部特别行动部部长。内务人民委员部特别行动部旨在在苏联红军中进行情报搜集和内部安全工作。在德国军队进攻苏联并多次击败苏联军队后，遵照斯大林的指示，阿巴库莫夫负责了对红军指挥官的清洗工作，1943年4月，当国防人民委员部反间谍总局（SMERSH）被建立的时候，阿巴库莫夫被任命为其中的一员，获得国家安全二级政委军衔。并被任命为副国防人民委员。