乐山古称朗陵山，隋代改为朗山，宋大祥符五年(公元1012年)因避宋祖赵玄朗之讳改名为乐山。

乐山之所以称之为中原道教名山，主要是因为它的历史悠久和规模宏大。据史料记载，乐山在隋唐时期已建有道观，至北宋达到鼎盛，建有“八宫两观一拜台”(即万寿宫、遇真宫、玄都宫、南海宫、斗母宫、灵应宫、玉虚宫、紫霄宫、迥龙观、群仙观、拜台宫)。乐山顶上紫霄宫曾有三件镇山之宝—玉皇大帝、元始天尊、太上老君三座铜像，每座铜像背后刻有“大宋崇宁三年恭造，重叁万伍千斤”字样。由此亦可见乐山道教的规模之盛之大。可惜这三座神像在解放初期被毁，留下历史遗憾。

北宋时，崇信道教的宋徽宗曾三次勅封乐山祖师，“初封崇仁侯，再封仁勇公，又封嘉济王，建庙祀神久矣”。此段文字是距北宋仅80年左右的金代人所记，所以应当是真实可信的。皇帝勅封，香火旺盛，乐山当时已成为远近闻名的一座道教名山。与湖北武当山（因祖师殿上覆金瓦，称金顶）、泌阳铜山（因祖师殿上覆铜瓦，称铜顶）并称中原道教三座圣山。因乐山祖师殿上覆以铁瓦，故以铁顶著称。古代乐山道教影响很大，鼎盛时每年庙会从三月初一绵延至月底。不仅河南各州府县香客众多，连周边安徽、湖北、江苏、浙江等省份前来朝拜者也络绎不绝，甚至组成朝山会，数十人、数百人一起前来登山祈福问道。据乐山道士讲述记载，当时登乐山四处观看，朝山者满山遍野，相属于道。山上山下每日都住满了朝山进香的外地民众。每至初一、十五特别是正月初九（玉皇大帝生日）、正月十五（天官生日）、二月十五（老君生日）、三月初三（王母娘娘生日）等道教重大庆典，都要举办祭神活动。道教音乐和源于乐山道教的“打铁花”，以及乐山道人独创的尹喜派坠子书，都受到官方的推崇和民众的喜爱。