该处小山隐伏，奇石蹲踞，古松浓郁，蔚然而秀。明崇祯初年在山冈上构筑文昌阁，后为台风所毁；清乾隆八年（1743年），于文昌阁旧址上建昆冈书院。道光年间又于院内增建韩文公祠，祠前一月眉形大石，刻“小韩山”三个大字。此外，在韩祠前壁上尚有一块石碑，刻着韩愈手迹“鸢飞鱼跃”四个大字及“退之”二个小字。据考“鸢飞鱼跃”乃韩愈被贬任阳山县令时所作，石刻旧迹今尚存阳山县。昆冈的“鸢飞鱼跃”乃是道光年间从阳山县钓台拓印而来。据说，昆冈从前也称小韩山，山上石崖题刻的诗词甚多，字体楷、生行、草兼有，各呈千秋。原书院四周，古松数顷，参天蔽日；清流潆洄，日夜奔流。真个是：度水松涛入院流，芸窗相对爽如秋。

这其中还有一段故事：据说古时韩江鳄鱼为患，为害百姓，为官一任的韩文公书写祭鳄文章，于江边祭鳄，最终将鳄鱼击退，使百姓得以安居乐业。