文庙西侧为观音阁和夫子避雨处，据《清光绪永城县志》记载：夫子避雨处，为一天然半覆锅状石室，深6.5米，宽20米。春秋末年即公元前495年，孔子率弟子周游列国“去曹适宋”时途经芒砀山，天降大雨，孔子及弟子在此避雨而得名。洞中仍存有一座曲膝盘腿、坐北朝南的孔子雕像。此像雕于明代，是全国仅有的孔子古石雕像，现面部已残。孔子旧雕像坐北朝南，高约一米，屈膝盘坐，拱手缩颈，形象生动逼真。春秋末年，孔子率弟子周游列国“去曹适宋”时途径芒砀山，突然狂风大作，乌云翻滚，下起了瓢泼大雨。春秋时期，芒砀山属于宋国，位于宋国的边陲，人烟稀少，森林茂密。师徒一行人想要找个地方避雨歇息，可荒山野岭并无人家。孔子及弟子只好在雨中狂奔，大雨仍不停息，在芒砀山群西边的一座小山处有一山崖，大家便在此避雨。此山崖虽宽20多米，但空间很窄，孔子弟子们及马车仍在受淋，孔子自言自语道：“此山洞能再大一点多好！”说罢，只听空中一声响雷过后，山崖向前长出一截。孔子道：“吾师徒周游列国，推行仁政，在此避雨，得到上天庇护，可我师徒人众，此山崖仍不足以遮挡风雨，望上天再让石崖往外伸一点”。孔子说罢，拱手屈膝对苍天拜了三拜，只听一阵响雷之后，石崖又往外长出一截，共深6.5米，这下不但可容纳其弟子，连其马匹、马车、书籍也能不受风吹雨淋了。雨过天晴，太阳直射崖洞，孔子及其弟子赶紧整理书籍，把竹简上的水倒净，搬到外面的大石台上去晒，这就是后来芒砀山著名的孔子晒书台。当地百姓认为是孔子的治学精神感动了苍天。从此晒书台上一年四季便不再飘雨落露，可以日夜晾晒衣物和粮食。可惜晒书台在文革期间不幸被砸毁。