桃花山两峰对峙，东峰之阳有一溶洞，名曰仙人洞。相传，古代有一异人在此居住，后成仙而去。另有传说，一个卖鱼人途经此地，洞中老人邀他下棋，他放下鱼担，与老人对弈。他一边走棋，一边观看洞外风景，发现树木时而变黄，时而转绿。一盘棋未尽，卖鱼者发现自己的鱼担已经不见了踪影。回到家，方知自己已经离家数百年。

仙人洞为石灰岩溶洞，洞口高三米，宽四米，洞中有两个分叉向里延伸。向下的岩洞入口狭窄，侧身越过“瓶颈”之后，里面却别有洞天。另一石洞向上延伸，是通往山顶的“天窗”。洞门两侧，悬崖陡峭，古木幽深。雨后，激流巨瀑，直泻龙潭，滚雪飞花，云蒸霞蔚。仙人洞不远处，还有玉皇洞、八叉洞、滴水井、牛角洞、会真洞、朝阳洞、星星洞等多处洞穴，组成一组溶洞群。从舆名推测，这里最初似为道教圣地，后来被佛家取代。由于峄县城郊无崇山峻岭，仙人洞自然成为文人雅士的郊游之处。明清时期的文学家柴奇、贾三近、李克敬等人，曾到此游览，并留下脍炙人口的题刻。康熙年间的知县仲宏道，每当公务劳神之后，必到仙人洞与僧人谈诗论文，寻求清净。离任前夕，写下《桃花山记》一文，寄托离别之情。