著名的舒瓦洛夫家族子孙，他的爷爷和叔祖都是女沙皇伊丽莎白·彼得罗芙娜时期的元帅，父亲是安德烈总监察长，弟弟保罗·安德烈耶维奇·舒瓦洛夫最后是驻柏林大使，波兰总督。他1845年进入军队，1853-1856年参加克里米亚战争，1856年出席巴黎和会，开始外交生涯，翌年任圣彼得堡警察局长，1860-1861年任政治警察司司长，以反对农奴改革闻名，1864年任波罗的海总督，1866年任宪兵总参谋长和第三厅（政治警察）厅长，成为亚历山大二世的亲密顾问，他和亚历山大·伊万诺维奇·巴里亚京斯基元帅、教育部长德米特里·安德烈耶维奇·托尔斯泰组成联盟，运用影响迟滞以开始的改革，并举荐反动观点的人任要职，他同时反对斯拉夫派，反对陆军部长德米特里·阿列克谢耶维奇·米柳京和更开明的海军总司令康斯坦丁·尼古拉耶维奇大公。1872年升为骑兵上将，1873年去伦敦执行特殊外交使命，将二公主俄罗斯的玛丽嫁给维多利亚女王的外孙爱丁堡公爵（萨克森-科堡的第三任君主），1874-1879年任驻伦敦大使，他信誓旦旦的向英国公众保证，俄国不会吞并中亚的希瓦汗国，只是将军们有时越界抓逃犯而已。结果中亚三国就这样不声不响的被吞并了。因涉及第十次俄土战争（1877-1878）后期的英法冲突，在英国首相本杰明·迪斯雷利的坚决要求下，废弃使俄国获得重大利益的《圣斯特凡诺条约》，改而签订各方利益均沾的《柏林条约》。他因为平时的亲英态度和外交失败，遭受俄国国内舆论攻击，被召回退休。