相传，在阳光照射下，石头周边隐约有青烟冒出，过往的行人每当行于此处，总会精神抖擞，就连走路的速度也比平时快很多。一日，一个衣着破烂的老道士躺于石上休息，逢人便说：“香炉石就是香炉寺，香炉寺就是香炉石”。后来有一天，一阵狂风吹过，石头变得金光闪闪，一阵浓烟直冲云霄。有人心生好奇，走近一看，忽不见老道士踪影，只见得这块酷似香炉的石头相较于之前更加红亮。从此，人们便叫此地为“香炉寺”。