《太平寰宇记》载：“昔有人往楚，累岁不还，其妻登山望之，日久乃化为石。”山峰临江处，昔有一岩石高2米，上刻有“望夫石”三字，字径1.6尺，字体浑朴入古，似篆似隶，传刻于秦汉间。此石于70年代因开山炸石坠入江中。山顶原有地藏王殿，始建唐代，内藏经书甚多。民国23年（1934），采石镇富商秦道增兄弟捐资修地藏王殿及山麓至殿的千余级石阶。石阶以青石垒筑，陡而峻险，两侧有栏杆扶手，殿前为巨石垒砌的广阔平台，殿内供奉众多佛像，殿东100米处有“天池”，池水清冽。池左侧石壁上有“天池”、“盖戴之恩”、“化生之德”等摩崖石刻，惜均不存。史载，昔每逢节日和庙会，朝山拜佛者络绎不绝，锣鼓喧哗，夜以继日。农历七月三十，是采石镇传统的盂兰会，远至杭州、上海、汉口、九江，近有南京、芜湖、含山、和县、当涂等地的善男信女，纷至沓来。故当地人俗称此山为“小九华山”。