相传此岩为曾布所开拓，故名“曾公岩”。洞内乳石多而奇，“其状如雕镌刻镂，殆出于鬼工而不类于融结者也”(宋刘谊《曾公岩记》)。曾布，北宋大臣，官至宰相。元丰元年(1078年)任桂州知府兼广南西路经略安抚使，在桂取得“民和岁丰”的政绩。洞内有宋人刘谊《曾公岩记》，曾布、刘谊等人的唱和诗及清代刻的真武大帝一龛三尊道教摩崖造像等多件石刻。

宋代孙觌曾在此留下诗作一首:

《曾公岩曾子宣丞相元丰中守桂林游七星山始见此洞芟薙（tì）草莽平坦方广可容数百人悉布砖甓之入洞十馀步有涧水横其前不可涉公梁石为桥以便游者号曾公岩》

群峰依天立，万马屹不动。

风欹紫玉珂，雨暗青丝鞚。

相君千里目，渺渺孤鸿送。

披云觑天巧，凿翠出岩洞。