永乐七年（1409年）九月，“浙江卫所五，飓风骤雨，坏城漂流房舍”（《明史》卷二十九）。从地形上看，这里所说的“浙江卫所五”，桃渚城当是其中之一。因过于近海，既不利于防守，又频遭台风海潮的袭击。桃渚城随后进行了迁移，内迁至今桃渚镇中城村，即所谓的“中旧城”。桃渚城的这次迁移，具体时间不详，估计是在永乐二十二年（1424年）。永乐二十二年（1424年），朝廷“诏天下都司卫所修治城池”（《明史》卷八），此时应当是桃渚城内迁的最好时机。内迁后的桃渚城，虽然离海岸远了许多，但由于每逢涨潮，城之四周仍为海水所围，安全还是得不到保证。正统四年（1439年）五月，大股倭寇进犯桃渚，初为浙江佥事陶成所败。陶成“密布钉板海沙中。倭至，舣舟跃上，钉洞足背。倭畏之，远去”（《明史》卷一六五）。但倭寇毕竟人多势众，桃渚城最终还是被攻陷。致使“官庾民舍，焚劫一空”（明·佚名《嘉靖东南平倭通录》附录《国朝典汇》），造成“城野萧条，过者陨涕”（明·佚名《嘉靖东南平倭通录》附录《国朝典汇》）的悲惨局面。正统七年（1442年），朝廷遣户部侍郎焦宏、监察御史高峻备倭浙江。

他们认为桃渚城“在临邑海崖之巅，势甚孤危，适足以饵寇，且潮汐冲激，弗克宁居”（明·黄淮《介庵集》卷九《桃渚千户所迁城记》）。因而主张再次迁城，“乃集藩宪及都司臣僚，佥议内徙十里许，地曰芙蓉，规划既定，召匠抡材，乃筑乃构，聿底于成”（明·黄淮《介庵集》卷九《桃渚千户所迁城记》）。

这次的迁建至第二年结束，也是桃渚城的最后一次内迁，成为了初具此时规模的桃渚城的雏形。嘉靖二十六年（1547年）十二月，倭寇进犯“宁、台二郡，大肆杀掠”，致“二郡将吏并获罪”（《明史》卷三二二），而桃渚城则经受住了考验。嘉靖三十四年（1555年），谭纶出任台州知府。同年七月，戚继光调任浙江都指挥使司佥书，司理屯田。次年，以足智干练升都司参将，镇守宁波、绍兴、台州三府。并在谭纶的节制下，屡次领兵救援台州。嘉靖三十八年（1559年），倭寇再次入侵，桃渚“被围七昼夜，城几岌岌，时千户翟铨膺是城守，羽书告急”（明·何宠《桃渚新建敌台碑记》）。

戚继光自宁波“统大兵压境长驱，以破巢穴，城赖以全，活者数万”（明·何宠《桃渚新建敌台碑记》）。歼灭入侵的倭寇后，戚继光于桃渚“补弊救偏，兴革利弊，立体统，树勤职，谨斥堠，练士卒，坠者修，废者举，增城浚濠，靡不周悉”（明·何宠《桃渚新建敌台碑记》）。

后又以桃渚城“东西一角为薮泽，蔽塞不通” （明·何宠《桃渚新建敌台碑记》），因而用官府空基易价作为费用，建敌台二所。使桃渚城“城上有台，台上有楼，高下深广，相地宜以曲全，悬瞭城外，纤悉莫隐藏”（明·何宠《桃渚新建敌台碑记》）。嘉靖四十三年（1564年）秋季，卫指挥柳应时又以督造官的身份对桃渚城进行了大规模的修缮，并“以功世袭（桃渚千户所）千户”（清乾隆《柳氏宗谱·鹤乔先生自序》）。

此后，历经多次的修葺与增补，直至二十世纪五十年代大跃进时期，桃渚城的软墙和垛口全部被拆，形成了现今的形制和规模。

桃渚城的平面基本上呈方形，城池前有护城河，西南二面为一片旷野。根据《台州府志》和《临海县志》的记载，“城高二丈一尺，周围二里七十步”。今实测，城周长1366米；其中东城墙431米，南城墙350米，西城墙285米，北城墙300米。城的平均高度一般在4.6米左右，平均宽度5米左右，城基宽10米。

城上原建有敌台十四个，敌台的城墙外壁均做成“马面”。现尚存十二个，具体分布为东面城墙三个、南面城墙二个、西面城墙二个、北面城墙一个，以及四角各一个。桃渚城有城门三道，东、南、西各一。东城门偏南而设，距南城墙98米，北城墙331米。

桃渚城，门呈拱券形，高2.3米、宽2.15米、深3.15米。南城门偏东而设，距东城墙127米，西城墙221米。城门也是拱券形，高2.4米、宽2.8米、深3.2米。西城门与东城门相似，亦偏南而设，距南城墙93米，北城墙190米。城门还是拱券形，高2.42米、宽2.75米、深3.6米。

三道城门外都有一道重门，以半圆形的围合空间构成里门之外的又一道防线，即谓之“瓮城”。东瓮城的重门为竖长形，南向，高2.44米、宽1.75米。瓮城空间东西14.2米，南北21.8米。南瓮城重门的结构同东瓮城重门，东向，高2.6米、宽2米。瓮城空间东西23米，南北11.6米。西瓮城的重门结构和朝向均同东瓮城，高2.6米、宽2.27米。瓮城空间东西13.15米，南北21.4米。可惜的是西瓮城在五十年代大跃进时，为方便交通而被拆开了一道宽3.6米的口子。

桃渚城瓮城的筑造，一是战时为守城将士提供同倭寇迂回的绝好条件；二是借此以“避煞”；三是足以遮避郊外的风尘；作用非常巨大。

今日的桃渚城仍保存着明代的摩崖题刻和明、清历朝所修建的寺庙庵堂以及古建民居等和古迹数十处。其中题刻为明代所刻的“眺远”、“镇海”大字摩崖和《桃城新建敌台碑记》石碑；寺庙庵堂有明代始建的敬奉海神妈祖娘娘的“天妃宫”，也有“关帝庙”和清代所建的“观音堂”；古建民居有鼓楼、鹤峤书院，以及柳氏古宅、郎家里古宅、郎德丰古宅；古迹则有佛号柱等等。

“眺远”、“镇海”大字摩崖，位于城内后所山上。“眺远”刻在山之东北角的巨岩上，二字直排，字径分别为118×138．5、168×109厘米，左为“明楚将军胡海题”款，右有“民国廿九年（1940年）五月吉旦桃渚区长敖翔重刻”款。题字的楚将军胡海生平不详，估计即明弘治时（1488-1505年）的浙江按察使司佥事胡海。“镇海”摩崖刻则刻在山之中段半山腰的崖壁上，二字亦直排，字径分别为117×115、114×111厘米，原题款已无法辨别，仅见“民国廿九年（1940年）五月吉旦桃渚区长敖翔重刻”款。据《台州府志．金石考》及桃渚《柳氏宗谱》，可知原款为“崇祯元年（1628年）四月望吉古越鲍大谋题”。鲍大谋史志无载，生平亦不详。《桃城新建敌台碑记》石碑原立于西城墙与北城墙的转角处，现竖在后所山上，并建有碑亭加以保护。石碑由碑和碑座组成，其中碑高160、宽82.5、厚11.5厘米，四周饰以缠枝纹；碑座高40，上端宽同石碑、下端宽88、厚37厘米；碑面文字共18行，满行34字。碑文为嘉靖四十年（1561年）邑人何宠所撰，虽碑面已漫患无辨，但桃渚《柳氏宗谱》和《郎氏宗谱》均录有原文。

天妃宫，位于后所山山腰的高阜处，始建于明正统中（1436-1449年），为祭祀天后和保佑出海渔民而建。历代屡有兴废，现尚有庙宇三间。相传天后林默娘为莆田湄洲人，系唐未都巡检林愿之六世孙女，生于北宋建隆元年（960年）三月廿三日。默娘自幼聪明好学、勇敢善良飞，能预知气象变化,有驱邪治病和泅水航海的本领。也经常给邻近乡民施诊、施药和出海救助遇难的渔船。后羽化成仙，白日飞升，民间因称之“龙女”、“神仙”，历代尊其为航海保护神。明成祖曾敕封为“护国庇民妙灵昭应宏仁普济天妃”，清康熙皇帝又敕封为“护国庇民妙灵昭应宏仁普济天后”，神号“天上圣母”，俗称“妈祖娘”。

关帝庙，在桃渚城内，始建于明成化三年（1467年）。后为火灾所毁，清代重建。现存大殿三间，内供关公神像。房屋坐北朝南，柱础呈鼓形，柱头饰有斗拱，雕梁画栋，尚留有明式建筑的痕迹。关公庙巷口两边原竖有二根“无极大帝”旗杆。关公本名关羽，字云长，出生于公元一六零年，卒于公元二一九年。关公在其近六十年的一生中，策马横刀，驰骋疆场，征战群雄，辅佐刘备完成鼎立三分大业，谱写出一曲令人感慨万端的人生壮歌。关羽那充满英雄传奇的一生，被后人推举为“忠”、“信”、“义”、“勇”集于一身的道德楷模，并成了中国封建社会后期上至帝王将相，下至士农工商广泛顶礼膜拜的神圣偶像。“县县有文庙，村村有武庙”。这是在中国封建社会后期中，社会各界普遍祭拜孔子和关公的真实反映。据有关资料记载，在宋元明清社会中，对“武圣”关公崇拜的虔诚和普及，甚至超过了被人们盛赞为“千古一圣”的孔子。早在明代，王世贞就惊呼：“故前将军汉寿亭侯关公祠庙遍天下，祠庙几与学宫、浮屠等。”而清代的赵翼，则更加惊叹道“今且南极岭表，北极寒垣，凡儿童妇女，无不震其（关公）威灵者。香火之盛，将与天地同不朽”。

鼓楼，位于城内主街道与通连衙门和南门主巷道的交叉点，是古代预报敌情的场所，始建于明朝万历年间（1573-1620年）。楼由三间二层楼房组成，明间主楼巍耸高峨，楼下为过道，左右扶以翼楼，酷似展翅飞翔的金翅大鹏鸟。主楼今存，由于年代久远，原楼之飞檐翘角和雕梁画栋已不复见。观音堂坐落在城内后所山南麓，处于苍松翠柏和古樟修竹的怀抱之中，环境极为幽绝。庵堂由三间大殿，南北二间翼楼和南北三间二层厢房组成，始建于清乾隆中（1736-1795年）。整座建筑坐东朝西，造型古朴典雅。殿堂内陈设的各种佛像雕工精湛，栩栩如生。今遗迹尚存，惜大殿已毁，北翼楼和北厢房被改建成民居。

鹤峤书院，在城内后所山东麓，因所在山坡隆起似峤，且常有于此栖息，故名鹤峤。书院始建于清乾隆十五年（1750年），此当临海“两痒闹学案”余波未尽之时，意义很大。嘉庆二十五年（1820年）失之于火，里人郎正斋重建。咸丰十一年（1861年）又毁，同治中（1862-1874年）里人郎继虞再次重建。光绪三十年（1904年），辛亥志士杨镇毅出任书院山长，培养了不少的革命学生。现代著名教育家林迪生年少时就读于书院，曾在这一带从事过地下革命工作。今书院虽已废圯，但遗址尚存。仍可见古枫侵空，翠柏森森之静谧清幽景象，只是不闻当年朗朗的读书之声。

柳氏古宅，建于明朝末年，为柳氏第五代后裔所造。清同治中（1862-1874年），其第十二代后裔柳子翰曾考取了“武举”，风光一时。现存古宅占地1800平方米，为一座完整的四合院。台门三进，大台门中开，分上下二层，设有外障屏风，内有堂号，北、西建有屋套。台门两旁原竖有二根顶部设星斗的旗杆，今已毁。东、西各开台门，东台门上方原悬挂有“武魁”二字匾额。宅内柱子均呈鼓形，柱头装饰斗拱；梁枋、窗棂、廊柱上的木雕，形态逼真；屋檐、照墙的砖雕，技法细腻；墙上的石漏窗，古朴大方；天井地面的石板，图案别致。无论是从建筑构造，还是木作雕刻上看，都留有明代的遗风。

郎家里古宅，建于清道光年间（1821-1850年），为郎氏第八代后裔郎昌滁所造。古宅为一座完整的四合院，占地面积2500平方米。有二进台门，东、西、北均建有屋套。房屋宽敞高大，前庭开阔。大台门为临街二层楼房，门上饰以四根门簪，距大门2米处设内障屏风；小台门上则建有过街楼。整个院子建筑飞檐翘角、雕梁画栋，显得古朴庄重。建筑构件上，窗棂、梁枋的木雕，手法细腻灵活；柱头的如鹿回头、飞龙、走狮、麒麟等高浮雕，则更为纯朴洗练。石漏窗和照墙屋檐的砖雕技法多样，有线刻、浅浮雕、高浮雕、半圆雕、圆雕等等。此外，在偏门的槛石两旁都设有门枕石，既牢固方便，又雅致气魄。

郎德丰古宅，始建于清光绪中（1875-1908年），为郎氏第九代后裔郎子恒所建。宅院亦为四合院形式，占地面积3200平方米，规模宏大。共有楼房30间，平屋22间，屋套环绕东、西、北，呈U形。临街照墙高大壮观，给人一种古朴庄重的感觉。大门中开，院内东厢房与扦翼楼房契合，回廊与天井道地相通。特别值得一提的是它的如人物、鸟兽、花草、鱼虫等木构件和各式镂空石窗花，造型优美，线条流畅，图案富于变化，赋予了古建筑一种全新的生命。

佛号柱，在城内后所山山腰，传为元末明初所立。柱由柱体、顶端石块等组成，柱体高280、边宽20厘米；柱顶端石块高15、边宽45厘米。柱体四边分别刻有“南无本师释迦牟尼佛”、“南无大方广佛华严经”、“南无大乘妙法莲华经”、“南无华严会上佛菩萨”等四佛号。此柱应为寺院庵堂大殿前的佛号柱，不知何故徙立于此。亦有人认为，此柱为石柱天灯，它暮时点燃，彻夜通明，专为商贾、渔民航海定向之用。

此外，桃渚城还完整地保存着明代的街巷古道格局。主街道宽3米，东西走向，连接东、西两城门，并与连接南城门和原左营衙门、校场的南北向主巷交叉。主街以北还有一条与主街平行的次街，依傍由西向东穿城而过的化龙渠。以主街道为干，有10余条古巷与之垂直相向，分别为主街以北七条，主街以南四条。

又有一条古道环绕东南西城内侧，与城北依山势而建的蹬步道连接成为城内的环路。这些道路构成了层次分明，有中心、有边界的街巷网。