相传唐德宗贞元二十一年间（公元805年），被贬为阳山县令的韩愈获得特赦返回长安，途经今郴州境内时曾短暂停留三个月候旨，期间种下了这株樟树。

韩愈在郴州暂住候旨在史料上是有详细记载的。虽然史料并未对韩愈种树多做注解，但这个故事确是当地百姓世世代代流传下来的，当地先辈也都嘱咐后人要爱护好这株樟树，因此可信度很高。