剑潭此地名，与17世纪的汉人郑成功息息相关。相传1660年代，郑成功及其所属军队行经此河河段时，遇见神怪与神怪造成的大风浪，为伏怪，郑成功抛一身边宝剑，始降服神怪。后人为纪念此事件，故将该河段与所涵盖流域皆以剑潭命名。不过，经后代考证，此一民间传说并不确实。

剑潭山区域十分宽广，其路径高达2.7公里。但因为1945年-1980年代长期军事管制原因，并没有遭到多少人为破坏。惟因1950年代后，设于该地许多建物皆以圆山命名﹔如圆山大饭店，圆山育乐中心、圆山风景区等等，近年一般访客多把剑潭山与圆山在名称与范围上多为搞混与并用。

台北市政府于军事管制开放后，设置剑潭山步道，惜开放后因缺乏管理，该步道范围遍布违建。不过，其山间的密林，多样式植物，还有偶见的五色鸟及绿绣眼，仍为其特色。