安禄山作乱时，他正居住在长安家中养病。当时安禄山声势浩大，攻城很急。朝廷在万般无奈的情况下，起用他为兵马副元帅，统兵20万守潼关。因受杨国忠猜忌，被逼出战，结果被安打败，囚禁于洛阳。公元757年，安庆绪兵败撤退时将他杀害。

为了纪念这位在保国卫边战争中做出贡献的将领，人们在临洮建立了哥舒翰纪功碑（见张维《陇右金石录》）。如今这块碑石已被列入省级文物保护单位。虽然它已被岁月的风霜侵蚀得斑驳陆离，但是作为历史的见证者，仍向游人倾诉着当年唐军与吐蕃激战的情形。