三星楼始建于清初，面宽3.5米，进深6米，通高7米，砖木结构，单间两层。上层为望楼室，前后各有大小窗户两个，三星楼下层为城门通道。前后为高大的矩形大门，并有上下石阶。光绪年间重修时，由黄姚书法家林贡廷书“三星楼”，楷体，镌于三星楼门上，门两侧原有对联为“傍社葱茏千树合，临楼咫尺一桥横”。三星意即：福、禄、寿，三星拱照。