此后，至1859年（清咸丰九年）先后修整10次。1578年（明万历六年）砖砌三门。1600年（明万历二十八年）城墙改用砖砌。三门题额改为东“潮海”，南“环秀”，西“通济”。1760年（清乾隆二十五年）三门皆增修城楼。城内建筑群有县署、孔庙、考院、参将署、城隍庙等13处。主要街道上自明至清先后建石牌坊36座，这些牌坊多系明清两代名宦周如砥、黄嘉善、蓝田、郭琇等的功德坊，跨街耸立，甚为壮观。解放战争时期，部分城墙毁于战火。1949年后，城墙及其它建筑陆续拆除或改建。 县衙署为元末知县董守中始建，位于原南门大街（今立法街）和城里大街（今中山街）交叉的十字街北侧（今立法街29号）。明清两代先后10余次修葺和扩建，逐步形成一个较完整的建筑群。原县署南面有大门，上为谯楼，大门外左右有两亭，左名“申明亭”，右为“旌善亭”，门前有照壁和石坊各一座。大门内东为土地祠，再东为寅宾馆；西为粮房。大门正北为仪门，左右有角门。仪门内西为狱神庙和监狱，北为箴石亭，再北为大堂。大堂两翼为幕厅和库房。大堂后为印堂（俗称二堂），再后为内宅、仓房、书房和客厅。衙署四周筑有高大的砖砌围墙。民国以来，县署内建筑被陆续拆除和改建，现仅存大堂及其后面的古柏，被列为县级文物保护单位。