据史志记载，绍兴的采石始于南北朝的梁代。梁武帝笃信佛教，大造寺庙，出现“南朝四百八十寺，尽在烟雨楼台中”的寺庙大观，造寺庙要用大量石料，如建于梁天监三年（504）的绍兴大善寺大殿（已在文革其间拆除）的石柱、各种石荷佛栏，就采自箬篑山和吼山。至隋朝，越国公杨素镇守越州，为巩固城防，“采羊山之石以筑罗城”。采石后“留下秃岩一块，高八十余丈”，灵鹫禅院寺僧募工匠凿出一尊石佛，故称“羊山石佛”。从此以后，采石成为绍兴手工业中的一大行业。

在过去。绍兴的路，无论是城市街衢还是四乡通道，都用石板砌成，（有的房屋，弄墙也用大快石板砌成）有“天下绍兴路”的美誉。绍兴有数以万计的石桥，数不清的石凉亭、石碑以及石制饰物如石狮、石人、石马等。旧时还到处可见石牌坊。这些建筑和装饰石料，都产自绍兴本地，绍兴的一些著名风景点如东湖、吼山、柯岩、羊山等都是采石筑城，铺路后形成的。