西汉景帝三年(前154年)，皇帝刘启将其子刘馀封为鲁恭王。鲁恭王好治室，传说在扩建宫室拆除孔子故宅时，忽闻天上似有金石丝竹之声，结果从墙里面发现了《论语》、《尚书》、《孝经》、《礼》等书。为纪念此事，故建此堂。堂始建于金代，明时倾圮，宣德九年(1434年)重建于东路，弘治十三年(1500年)迁往西路。