该地历史悠久，文化灿烂，郎公和尚曾在神通寺做过主持，当时僧人达500余众(公元351年)。内有隋代的四门塔，唐代的千佛崖和龙虎塔，唐以后的主要遗迹有元、明、清代的碑刻、故墓、塔林、涌泉、瀑布,态游基地。四门塔建于隋朝后期，距今已有一千三百多年，是中国现存最古老的单层亭阁式石塔。

一九六一年，国务院首批公布为全国重点文物保护单位。

塔心柱四面各有一尊主佛像及左右二尊菩萨和弟子，剩下主佛。每尊佛像都是用正块大理石雕刻而成。佛像皆螺发肉髻，颜面丰圆，额光平正，细眉慈眼，隆鼻长耳，嘴角上扬，安详恬静的神情，似在向人娓娓说法。