1937年10月加入八路军，1938年2月加入中国共产党。历任八路军总部随营学校六大队第一支队区队长、支部保卫委员，晋城游击第二大队大队长，十八集团军野战政治部保卫部侦察队长。

抗日战争胜利后，先后任华北局社会部第二室副主任、第二处处长，北平市公安局二处副处长，中南海政协警卫处副处长。

新中国成立以后，李广祥先后任中央公安部一局处长、副局长，二局局长，广州市公安局局长，广州市委常委、副市长，市委政法委员会主任兼市公安局局长。“文化大革命”期间，他立场坚定，旗帜鲜明，对林彪、“四人帮”的倒行逆施进行了针锋相对的斗争。

粉碎“四人帮”以后，先后任公安部一局局长，公安部副部长、党组副书记。1986年3月，李广祥主动提出退居二线。

1998年1月19日因病在北京逝世，享年81岁。