祠堂坐东南向西北，三间两进，砖木结构，面阔12.1米，进深22.8米，面积约281平方米。硬山顶，龙舟脊，人字封火山墙，素胎瓦当，青砖外墙，麻石脚。前进为穿斗与抬梁混合式木梁架，前廊施雕花斗栱梁架，柁橔、雀替刻有人物、花卉等图案。檐下有四根石檐柱支撑，柱间架虾弓梁，托脚、雀替施人物、瑞兽等石雕。后进为穿斗与抬梁混合式木梁架，前部设横向卷棚廊。前后进之间夹一天井，天井两侧各设雨廊，廊两端有雕花梁架。伯瑶祠体现了典型的中山清代祠堂建筑的特色，具有较高的历史价值和建筑艺术价值。