传说春秋末年孔子率弟子周游列国去曹适宋，途径芒砀山，天降大雨，孔子师徒在此避雨。为纪念孔子，后人雕孔子石像一尊置于石室内，石像面南拱手屈膝盘坐，现面部已残。洞外石刻甚多，现石室东侧仅存明代残碑二通，碑文字迹模糊，为明万历年间所立。夫子崖前有晒书台，传说孔子带弟子在此处避雨，雨过天晴，在此台上晒书，故名晒书台。当地人说此台晚上不下露水，晒粮可以过夜。