三衢山独特的地貌背景孕育了丰富的人文景观。有历代文人的诗词，民间艺人的传说。宋诗人曾几在《三衢道中》曾这样赞叹三衢山：“梅子黄时日日晴，小溪泛尽却山行。绿阴不减来时路，添得黄鹂四五声。”《隋志》记载：“昔有洪水自顶暴出，界兹山为三道，故谓三衢”。三衢山历史悠久，文史丰厚。唐《元和郡志》记载：“州有三衢山，故取其名”，并记载了尉迟公建城以三衢山命名“衢州”的历史，后人称三衢山为“衢州的母亲山。据《韶山毛氏族谱》卷首凡例记载：“宋工部尚书让公世居三衢”，就是说毛泽东祖籍在三衢。北宋名臣赵抃刚正不阿，嫉恶如仇为世人称道，告老还乡时“一琴一鹤”相伴，两袖清风，被世人传为佳话。位于三衢山西坡“赵公岩”是赵抃年青时避难读书之地，后人因感其刚正，在其逝世后自发到此洞焚香、敬拜，以颂其德。毛泽东三过衢州还三问三衢山之来历。