此处之所以称为“叱石”，相传古时有一个人名叫黄初平，年幼上山放羊，遇英石公。英石公认为其有仙骨，遂收其为徒。怎料羊群散失，其兄找到追问，英石公闻之，便说羊群藏于乱石之中，授予黄初平一鞭，嘱向群石叱之，羊便走出。初平依嘱，大叱一句“羊群在此!”果然群石皆变为羊。由此，便有黄初平叱石成羊之说。后来，黄初平在金华得道升仙，世人称为黄大仙，并将叱石寺“大雄宝殿”左厅定名为“小金华”，并建造“黄大仙祠”。明朝亡后，遗臣大司马黄公辅拥着太子南奔到此，见到此地乱石无数，状如山羊，赞叹不已，遂据“神仙传”中黄初平叱石成羊的故事，将此山改名为“叱石”，一直流传至今。