藏文史书记载，它最初由松赞干布主持建造，吞米桑布扎就是在此创制藏文并留下了由其亲书的六字真言，而且此地还有祜主三尊的自显像，松赞干布等人的修行洞等等，此地因而获得神圣神奇的地位。吐蕃末期，达磨赞普（郎达玛）灭佛时焚烧了帕邦卡。11世纪末复兴。清代以来，达赖喇嘛的历辈转世都得到此礼佛、受戒，获得格西学位后也要来此举行庆贺仪式；帕邦卡的堪布则例由噶厦委任。