嘉靖年间，是倭寇侵扰浙江最猖獗的时期。他们劫掠财物、屠杀居民、掳掠人口、奸淫妇女，无恶不作。所掳婴儿“沃以沸汤，视其啼号，拍手笑乐。”自嘉靖十九年（1540）起，倭寇与海盗李光头、徐栋、汪直等相互勾结，以郭巨双屿港为基地，大肆劫掠舟山各岛。定海城区、岑港、金塘沥港、普陀山受倭寇危害尤烈。

经过戚继光、张四维、俞大猷、卢镗等将领奋力围剿，与倭寇接战数十次，最终端掉了倭寇在定海岑港的老巢，嘉靖三十七年基本肃清舟山境内寇患。其中嘉靖三十五年八月初四，在金塘沥港的一次战斗，副总兵卢镗率领明军斩获倭寇五百余级，生擒倭酋辛五郎。人们为纪念这次战斗胜利，在沥港的要道口竖了一方“平倭港碑”。从此，沥港也叫平倭港。这块碑保留至今，现在为舟山市重点文物保护单位。