弘仁七年（816），日本真言宗开祖空海（774～835）奏请嵯峨天皇赐地高野山。翌年空海即登高野山结庵修诸法，并着手营建伽蓝。十年（819），金堂落成。又仿南天竺之铁塔续建大宝塔，至真然之时始告完成，并命名金刚峰寺。

宽平元年（889），长寿入住本寺，设座主职。后来本寺与京都之东寺发生争执，遂由东寺之观贤兼任座主职。此后，本寺即受东寺支配，势力逐渐衰退。至宽治四年（1090），明算任高野山检校，本寺始恢复昔日盛况。

天承元年（1131），觉鍐（1095～1143）于高野山建大传法院，后任本寺及大传法院两寺座主之职，致使两寺发生纷争。保延六年（1140），本寺寺众攻击大传法院，觉鍐逃至根来（那贺郡），而成为真言宗新义派之祖。

天正九年（1581），本寺不服织田信长之命，遂受大军攻打。天正十三年（1585），丰臣秀吉伐根来寺，欲乘势攻打本寺，幸赖木食应其之奔波游说，始得解围。其后，由于秀吉甚为赏识应其的才德，乃捐寺地与应其。此外，秀吉又为生母（青岩贞松禅尼）祈福，乃于高野山内建青岩寺。