相传在春秋时期，越国大夫范蠡不慕荣利、功成身退，偕西施隐居于伏牛山中，改名为陶牛公。后人追念其兴越之功，把伏牛山改为陶公山，其临渊垂钓处也改称“陶公钓矶”。

南宋宝庆三年(1227年)，庆元知府胡榘在陶公山上修建“烟波馆”、“天镜亭”。后人作诗以咏：

平吴霸越谢成功，退隐湖滨作钓翁；

自有石矶留胜迹，此山依旧属陶公。