公元632年先知去世后，艾布·伯克尔被推举为哈里发。有段时间，阿里对艾布·伯克尔有所不服，其追随者也怂恿他争夺取哈里发地位，但他不想让穆斯林社群陷入战争血海，因此拒绝了其权力要求。这期间，阿里深居简出，负责古兰启示和先知遗训的收集与整理工作。欧麦尔·伊本·哈塔卜去世时，阿里被任命为确定下届哈里发人选的六人小组委员会成员。

公元656年6月第三任哈里发奥斯曼·伊本·阿凡被叛军杀害后，阿里被推举为第四任哈里发。执政期间，穆斯林社群组织内部离心力增长，各派权争激烈。为整顿内部、维护先知和前三任哈里发所开拓的疆土，实现伊斯兰教公平、正义理想，阿里将首都从麦地那迁至经济、文化较为发达的库法，并重新任命了一批地方总督，撤换了与奥斯曼有血亲关系的军政要员，削弱了伍麦叶家族成员的权力，从而遭到各派政治势力的反对。新老贵族不满他的政策，为使他难堪，他们以给“奥斯曼复仇”为由，要他惩办杀害奥斯曼的凶手和事件的幕后支持者。遭到拒绝后，他们要挟阿里退位，先后爆发三次内战。

公元656年10月，祖拜尔、泰勒哈联合先知遗孀阿伊莎在巴士拉附近举兵反叛阿里，史称骆驼之战。

次年，叙利亚总督穆阿维叶举兵反抗阿里，双方爆发隋芬之战。接下来，就在阿里军事上占据优势，即将结束战事的情况下，穆阿维叶巧施诡计，阿里被迫接受以《古兰经》裁决分歧的停战建议，结果招致阿里在政治上重大失利，穆斯林阵营出现严重分裂。

公元660年分裂出走的哈瓦利吉派的反叛被击败后，穆阿维叶乘机出兵占领埃及和希贾兹，阿里势力从此一蹶不振。

公元661年1月24日清晨，阿里在返回库法清真寺途中被人用带毒的军刀刺杀身亡。阿里死后被葬在库法附近一个叫纳贾夫的地方，那里原本荒无人烟，后成为什叶派圣地之一。11世纪，什叶派学者阿里·本·侯赛因·谢里夫·穆尔塔达将阿里生前言论、书札、祷辞及相关资料整理汇编成书，取名《辞章之道》（Nahj al-Balaghah）

在阿里的追随者什叶派看来，第四位哈里发是伊斯兰教最杰出的圣徒、真主的外理(Wali，朋友和代理人)，一如穆罕默德是伊斯兰先知和真主的使者一样。而事实上，死了的阿里远比活着的阿里更具号召力。作为公认的圣徒和殉道者，他在死后所赢得的尊重弥补了生前的所有不足，而且有所增加。

作为领袖和政治家，阿里缺乏机警、远虑、果敢、韬略等特征，因此他在政治上的失败不可避免。他在战场上是勇敢的，在劝慰他人时是聪明的，在讲坛上是雄辩的，对朋友是真诚的，对敌人是豁达大度的。事实上，他是穆斯林世界一切高贵和豪侠(futūwah)的化身，犹如苏莱曼(所罗门)是阿拉伯英雄的化身一样。在他死后的千余年里，有数不清的诗歌、格言、训诲和轶事环绕着他的大名而结实累累。

相传，他有黧黑的皮肤、大而黑的眼睛、光秃的脑袋、密而长的胡须、肥壮而中等的身材。他的宝剑曾被称作脊柱剑，是先知在值得记忆的伯德尔战役中所使用过的。

这把宝剑因下面的这句诗而永垂不朽：除脊柱剑（佐勒菲卡尔剑）外无宝剑，除阿里外无豪杰。 在中世纪，阿拉伯宝剑上有许多都镌刻着这句诗。后来的菲特彦青年运动曾将阿里当做他们的导师和行为典范。

事实上，整个伊斯兰教世界都认为阿里是英明的、英勇的、无可非议的。而在什叶派心目中，他是不会犯错误的完人。

阿卜杜勒·穆塔里卜

│

┌──────────────┼───────────────——┐

阿卜杜拉 阿布·塔里卜 阿拔斯

│ │ │

穆罕默德 阿里 │

│ │ │

法蒂玛─—─结婚──── │ 阿拔斯王朝

│

│

┌─—————┴─——───┐

哈桑 侯赛因