据文献记载，这里曾经山清水秀，鸟语花香，山的样子又很象印度的香山。东汉光和三年，来华传教的印度贵霜王朝僧人支法度，巡游到此，感应颇深，留恋忘返，于次年在这里建起了“香山精舍”，坐禅修道，并把火珠山改名为香山。到了西晋元康初年（公元291年——295年），“香山精舍”更名为“香山菩萨寺”，简称香山寺。据考证，这是中国最早的香山寺，后来，发展成为规模宏大的“香山普门禅寺”，被誉为“中原名刹”，距今已经有1800多年的历史。

据《宝丰县志》《汝州志》及《蔡京碑》记载：三皇姑妙善就是在这里修成正果，成为千手千眼观世音菩萨的，香山宝塔下面供奉有观音真身舍利。唐代高僧道宣律师认证香山寺为“菩萨成道之地”，当代高僧星云法师为香山寺亲笔题写“观音祖庭”“大香山”。

历史上的香山寺是观音菩萨的证果之地，是名副其实的佛教圣地，被称为“真香山”“大香山”。2010年，平顶山市开通了香山寺通往新城区的大道，官方命名为“大香山路”，民间称为“观音大道”。