嗣德二十八年（1875年）六月，阮文祥调任户部尚书，并兼任商舶大臣，负责财政管理和对法交涉。在户部尚书任上，阮文祥充分发挥了他的理财能力，使阮朝财政有所起色，嗣德帝曾称赞道：“阮文祥自当户政以来，颇能尽心理会，国课有加，方军需调剂丛繁，皆能妥济”；在商舶大臣任上，他与法国关系不睦，法国驻顺化钦使黎那曾说：“阮文祥是强硬派的头目，就是他迫使嗣德无视1874年的条约，让法越关系逐渐恶化。”嗣德三十四年（1881年），由于法国新任钦使参哺向陈践诚施压，阮文祥被解除了商舶大臣的职务，但保留户部尚书兼机密院大臣。同年十二月，阮文祥以协办大学士的身份，代表嗣德帝接见了清朝轮船招商局官员唐廷庚，提出了清朝援助越南自强以及制衡法国的请求。据另一名清朝官员唐景崧记载，阮文祥利用职务之便，勾结华商垄断税权，中饱私囊，其妻也凭借卖油而致富。

嗣德三十六年（1883年）六月十六日，嗣德帝驾崩，遗诏传位皇长子阮福膺禛，由陈践诚、阮文祥、尊室说三人辅政。阮文祥与皇三子阮福膺登过从甚密，他的一个儿子甚至与阮福膺登的姐妹结婚。因此，他不满意阮福膺禛，而欲立阮福膺登，为此与尊室说合谋，在嗣德帝驾崩四天后发动政变，废黜膺禛，尊室说主张立嗣德帝幼弟朗国公阮福洪佚继位，是为协和帝。协和帝即位后，升阮文祥署文明殿大学士，晋封奇伟侯。十月，协和帝诛杀权臣之谋泄露，阮文祥与尊室说联手发动第二场政变，废黜并弑杀协和帝，迎立阮福膺登，是为建福帝，另一辅政大臣陈践诚亦遇害。建福帝即位后，阮文祥以定策之功，加太傅衔，升为勤政殿大学士、纬国勋臣，晋封奇伟郡公。翌年正月，改领吏部尚书。当时阮文祥掌握人事权，尊室说掌握兵权，两人操纵幼主，专横跋扈，朝中有谁敢忤逆他俩，便遭拘禁或杀戮。阮文祥还接受华人的贿赂，准许他们把一种在中国铸造的不足分量、粗制滥造的“嗣德通宝”钱输入越南，强迫百姓使用。

就在阮朝统治集团争权夺利之时，法国兵临顺化、胁迫阮朝签订《癸未和约》（第一次顺化条约），将越南置于其保护下，随后爆发中法战争，阮文祥主导的政府决定在中法之间保持中立，称：“我国介乎两大，于清则千年藩服，义不容绝，而于法则远水近火，势不容已，莫如中立，以俟两国进止。”建福元年（1884年）五月，法国又迫使越南签订了《甲申和约》（第二次顺化条约），正式确立了保护国体制。阮文祥与范慎遹代表阮朝在这个条约上签字。在谈判期间，法国要求阮朝将清朝下赐的满汉文合璧“越南国王之印”交给法国，阮文祥等起初不肯，最后决定销毁了事。

建福元年（1884年）六月，建福帝暴死，阮文祥与尊室说又立咸宜帝。咸宜元年（1885年）五月，尊室说起兵攻打驻扎顺化的法军与法国官员，对于此事，史载“阮文祥不之知也”，事发时还在吏部衙门酣睡，其后兵部署参知黄有常等听到炮声，跑到吏部把阮文祥叫醒，阮文祥惊起道：“困矣！”然后仓皇入宫，不知所措。等到天亮法军反扑后，阮文祥奏请咸宜帝及三宫（慈裕太后范氏姮、谦皇后武氏缘、学妃阮氏香）移驾谦宫（嗣德陵），出宫之际，慈裕太后命阮文祥留下来与法国人周旋，而咸宜帝及三宫则被尊室说转移到广治省，传檄越南，发动勤王运动。

法国人给阮文祥两个月的时间，要求他寻回咸宜帝，稳住越南局势。阮文祥没有能把尊室说控制下的咸宜帝带回顺化，反而将嗣德帝的第二养子正蒙堂阮福膺豉（同庆帝）从民间找到，准备第四次立皇帝。不过他毕竟还是没能完成法国人所交给的任务，于是在1885年9月6日，法国人罢免他一切职务，将他和尊室说的父亲尊室订一起关押在了昆仑岛。法国人没收了他的财产，发现了1450万法属印度支那元。

不久，阮文祥被法国人流放到了太平洋上的法属波利尼西亚塔希提岛，1885年11月23日，阮文祥到达该岛，并于1886年7月30日死在那里。数月后，他的遗体被尊室订带回越南，安葬于广治故乡。

阮文祥有2子阮文柖和阮文𣚣，成泰十八年（1906年）获准参加科举考试。

据说，阮文祥同嗣德帝的学妃阮氏香（建福帝养母）发生了暧昧关系。建福帝抓住了阮文祥与学妃通奸一事，声称将依法处置他们。在阮文祥将要被杀之前，学妃在建福帝的药里下毒，使建福帝在第二天就死去了。