南韭山山头迭起，风景秀丽。相传，当年观音菩萨想在东海里找一块佛地，建个佛国，便腾云驾雾，从西方一直飞到东海，在东海上空周游了一圈，被南韭山的美丽景色迷住了。但她记得佛祖说过，造东海佛国一定要造在有100个山头的海岛上。观音急急降落在南韭山的一个最高山头――凤凰山头，一五一十地数起南韭山上的山头，横数竖数只有99个山头，她觉得这实在太可惜了，不得意中寻到了普陀山，一数，这里正好有100个山头，于是作起法，有了普陀山的“不肯去观音”。有了“不肯去观音”后，佛地得以一天天扩展，逐渐变成了佛国。

有一天，观音去南海路过东海，行至南韭山的上空，又一次被这美丽的景色吸引住，觉得这地方实在太好看了，耐不住再一次数起南韭山岛上的山头，这一数刚好是100个，而不是99个。原来在当年，菩萨也被这美丽打动，忍不住有几分激动，这一激动把自己所站立的那个山头忘了数进去。这回观音是后悔莫及了。所以当地百姓说：“东海里有两块佛地，一块是舟山的普陀山，一块是象山的南韭山，普陀已成佛国，南韭山还空着”。想必这块佛地总有一天会被开发，开发成一块时代的宝地。