岛呈东西走向，长3.3公里，宽1.23公里，陆域面积4.09平方公里，形似一只口朝南的畚箕。据当地传说，古时有人自定海乘船给各岛取名，自知将小岠岛和大岠岛大小位置颠倒命名，心中懊悔。当船至岙山时，就称该岛为“懊山”，以示悔悟。土地改革时，根据山形将“懊山”改为“岙山”，沿用至今。

岙山有良好的深水岸线资源，可利用岸线2.2公里。分布于南岸外长礁至妙山，岸滩稳定，前沿水深20米以上中外合资舟山兴中石油转运有限公司在外长礁岸段兴建25万吨级油码头和储油罐。 中化兴中石油转运（舟山）有限公司在岙山岛南部建成了中国最大的石油中转基地。

岙山岛民国时属盘峙乡，20世纪50年代置岙山乡，后并入长峙乡，2000年7月并入临城街道。

岛上有3个行政村。2000年有居民810户，2541人。