尊奉奈良时代初期的役小角为始祖，以大和（奈良）的大峰山、金峰山、吉野山，纪伊的熊野山，奥州的出羽三山，九州的英彦山等诸山为修行的场所。初时，修行者多依赖显贵的经济援助，发展至镰仓时代，逐渐独立，并与政治、军事颇多关连。依其入山次数或修行深浅，分作一僧祇、二僧祇、三僧祇、正先达、大先达等阶级。装束独特，身着袈裟，系之以铃，围兜巾，悬珠，提杖，负笈，复佩以大刀、法螺。

中世时山伏属于天台、真言两宗。天台宗方面由三井寺（园城寺）统辖，真言宗方面由醍醐寺统辖。近世以来，由于修验道的组织化（本山、当山两派的成立）与社会制约的增强（如确立大名领国制、幕藩体制等），山林修行逐渐淡化，修行者转往乡村居住，从事加持祈祷、神社别当职等宗教活动，对近代日本民间信仰有很深的影响。