白塔寺始建于元代。据记载，元太祖成吉思汗在疆域统一过程中，曾致书西藏萨迦派法王。萨迦派法王派一位著名的喇嘛去蒙古拜见成吉思汗，但在甘肃兰州因病逝世。因此，元朝在兰州修塔纪念。

元代所建白塔已不复存在，现存白塔系明景泰年间（1450-1456年）镇守甘肃内监刘永成重建。清康熙五十四年（1715年）巡抚绰奇补旧增新。