根据史书的记载，这座寺庙的历史可以上溯至隋唐时期——它本是隋文帝杨坚赏赐给儿子杨俊的府邸，被改建为寺庙后初名济渡寺。唐太宗时被俗称为金胜寺，后又改名为灵宝寺，用来安置唐太宗死后出家的嫔御。后来又改名为崇圣寺，唐时曾在寺中设樱桃宴待新进士。

明朝初年对这座寺庙进行了大修，并一跃成为了当时的“西安第一寺”。

清朝的陕西巡抚毕沅，在其编订的《关中胜迹图志》中将这座寺庙排在了第一名，包括拥有大、小雁塔的慈恩、荐福二寺在内的多座名寺古刹，都要居于其后。