史书记载：北宋皇祐元年（1049年），欧阳修自扬州移知颍州。熙宁四年（1072年），欧阳修以太子少师、观文殿学士致仕，退居颍州，寓西湖六一堂。翌年四月，前副相赵概以八十高龄自南京（今河南省商丘市）来访欧阳修，欧阳修就将六一堂西侧的会客室加以整修，作为接待赵公的场所。时任颍州知州吕公著也前来看望。欧、赵、吕三人会于此堂，饮酒，赋诗，吕公著有感于二老相会为此堂题匾额日：“会老堂”。欧阳公即席赋诗：“…金马玉堂三学士，清风明月两闲人……”。诗中抒发了他与赵概莫逆之谊和对赵概不远千里寻访的感激之情。当年，欧阳修便终老于西湖居所，有道是“”欧苏旧治，会老存六一余音”。

会老堂在历史上有过几次大的维修，现保留有明清修湖建祠的碑记四块，分别记述了历史上欧阳公祠、西湖亭、西湖书院的修建情况。由于历次黄河水泛滥侵蚀、自然老化，房屋曾破烂不堪，1982年初，省、地、县分别拨款对会老堂进行维修。1991年（欧阳修四子欧阳卞后裔）亭孜村村民自己集资盖了一层院房把其作为欧阳氏宗祠保护起来，会老堂为县级重点文物保护单位（1959年4月经阜阳县人民政府）。