明嘉靖以前称马家渎，渎流也称青岘溪，自东向西注入西苕溪。渎口处原有横跨西苕溪的石构大桥，名德新桥，又名锁龙桥、骆驼桥，明嘉靖六年（1527）自然倒塌，残迹犹存。桥塌后设渡通途，遂名马家渡。

马家村清《（同治）安吉县志》载：青岘山又名东晋山，吴均《入东记》东晋欲立城于此，故名。马家渎水经司马桥注入西苕溪，此桥为石板平桥，相传始建于东晋。牛头山南有南朝梁天监三年（504）建的东禅寺（俗名大东寺），为安吉县最早的寺院之一，清同治元年（1862）毁于兵燹，遗址今为马家小学。耸立于村西南龙头山上的灵芝塔，现为浙江省重点文物保护单位。西濒西苕溪，砖身实心，六角七层，高23.4米，塔身为藤萝缠绕，除塔刹倾斜外，塔身正直。清《（同治）安吉县志》载：灵芝塔相传五代吴越时建。至今千余年，巍然独存。现由政府拨款25万元，正在进行维修。灵芝塔东南0.5公里处有东岳行宫碑。东岳行宫建于北宋政和二年（1112），次年立碑。行宫早圮，碑石犹存。碑石立于龟座，碑额雕双龙，已断落，碑身基本完好，刻文可辨。碑文为北宋彭修撰，全文辑入清《（同治）安吉县志》。行宫遗址右侧有明洪武年间复建的龙清观，观内有石龙，长约10米，观宇于抗日战争期间被毁，龙身分为3段，身首异处，卧于废墟。村西临西苕溪有桃花山，相传以产桃花石得名。盛唐诗人皎然有《桃花石枕歌送安吉康丞》诗：君吏桃州尚奇迹，桃州采得桃花石。诗序言：安吉，古桃州也，今为吴兴右邑。龙清观南有四龙湖，清《（同治）安吉县志》载：相传吴越武肃王时，以望气者言安吉城东有王气，因令凿其池为湖，忽有四鸽飞起，烟雾?然，化为四龙而去，因名。今习称南北湖。