大统三年，东魏将窦泰入寇，济自风陵，顿军潼关。太祖出师马牧泽。时西南有黄紫气抱日，从未至酉。太祖谓升曰：“此何祥也？”升曰：“西南未地，主土。土王四季，秦之分也。今大军既出，喜气下临，必有大庆。”于是进军与窦泰战，擒之。自后遂降河东，克弘农，破沙苑。由此愈被亲礼。九年，高仲密以北豫州来附。太祖欲遣兵援之，又以问升。升对曰：“春王在东，荧惑又在井、鬼之分，行军非便。”太祖不从，军遂东行。至邙山，不利而还。太师贺拔胜怒，白太祖曰：“蒋升罪合万死。”太祖曰：“蒋升固谏，云出师不利。此败也，孤自取之，非升过也。”

魏恭帝元年，以前后功，授车骑大将军、仪同三司，封高城县子，邑五百户。保定二年，增邑三百户，除河东郡守。寻入为太史中大夫。以老请致仕，诏许之。加定州刺史。卒于家。