从记载中，推断当年衡阳的主城区在花药山的东北面两里之处，约在现湘江西岸附近。

《清泉县志》提到的东晋葛洪是著名的道士，又是道教理论家、炼丹家和医学家。传说葛洪近四十岁时辞官离家，来到杭州的西山岭结庐修炼，晚年又在广州的罗浮山上炼丹采药。可见葛洪炼丹之地不止一处，他既然云游四方，那么在衡阳的花药山炼过丹是完全有可能的。

民间另有一说。相传八仙之一的何仙姑居衡阳仙姬巷时，常来此山采药，治病救人，花药山之名与此也有关系。

花药山还曾经有一处佛教宝刹。宋宝佑五年(公元1257年)，花药山下建起了一座光孝报恩寺(即后来所称的花药寺)，规模较大，为当时衡阳佛界四大丛林之一。可惜此寺在文化大革命中被彻底毁灭。原来的寺庙基址上后来盖起了房屋建筑，先是做展览馆，现在是衡阳市戏校校舍。