中方广寺始建于东晋兴宁年间，开山祖师为昙猷尊者。中方广寺自创建后曾毁建多次，其中最大的几次扩建整修是宋朝两次，主持者不详；明朝一次，主持者为钱塘大贤葛一鹏；迄清及近代一次，主持者为兴慈法师；现任一次（主要是一九八○年至一九八三年在当地政府和广大信众支持下的重建工程），主持者为通和法师。重建后的中方广寺主要佛教建筑为大殿、观音殿、祖师堂、昙华亭、铜殿、僧竂、香积厨等。其中最具特色者一为昙华亭，二为五百罗汉铜佛殿，后者被僧众视为该寺镇山之宝。另外，寺内有一株约三百多年树龄的黄檀，寺内僧人常可根据树的生长变化，预测该地区当年旱涝灾情，甚为奇异。

五百罗汉铜殿，始建于五代十国之际，据《感应略记》载∶「就嘉全亿长史画半千罗汉形象。每一迎请，必于石桥宿夜焚香，具锣钹幢盖，引道入于殿，香风送幢之势，前靡而入，入门即止，其方广寺梵呗方作，先有金色鸟，飞翔后林树石畔。吴越国王钱弘倜频年施供养，造五百铜罗汉。」后来，人们还为五百罗汉演义了许多「神灵」的故事，从而大大提高了天台山的知名度，有人将五百应真说成是田横五百壮士的化身，田横是战国时齐国田氏的后代。秦末，其从兄田儋自立为齐王，不久战死，儋弟荣与荣子广相继为齐王，田横为相国。韩信破齐，田横自立为齐王，率领从属五百人逃往海岛。剑邦称帝，遣使者招降，田横与客二人往洛阳，未至二十里，羞为汉臣，自杀。留居海岛的部众，遵田横临行前之命，逃奔到天台山。他们听到田横义不降汉的消息后，悲愤填膺，慷慨跳崖，以追随田横。五百壮士跳崖后，被一朵朵禅云托住，说是壮士谊气感动观音菩萨，观音撒下的五百朵白云，五百壮士变为五百罗汉。他们以后就住在石梁飞瀑的中方广寺。以后，历代帝王每当「国难」当头的时刻，都遣使来山祭请，祈求罗汉的荫护。如宋仁宗于景?四年（一○三七年），遣使来天台供施五百应真，其敕文曰∶「朕荷祖宗之休，丕承洪业，未赏不虚怀逸士，侧席幽人。雅闻天台之石桥，近接四明之雪窦，智觉之遗风具在，应真之灵迹俨存。慨想名山，载形梦寐。今遣内使张履信赍沈香山子一座，龙茶二百斤，银五百两，御衣一袭，表朕尊重之意！」