关于丹山白塔的传说故事众多，其中有名的就是姑嫂修塔的故事。相传在很久很久以前，姑姑月娥和嫂嫂兰香是心灵手巧、智慧过人的一对姑嫂。月娥心高气盛，一天，她提议和嫂嫂比试谁的手巧，她在沱江南岸修座红塔，嫂嫂在北岸修座白塔，二更起修，五更鸡啼完成。嫂嫂心中有数，要一晚上修七层塔，她和妹妹的工夫都要差一些，但她不影响妹妹的兴致，同意和妹妹比试。姑嫂二人请妈当裁判，二更起时，妈在临江寺撞钟为号，钟声响到简阳和丹山，姑嫂两人分外忙碌，一个砌玲珑宝塔，一个砌四方走马转角方塔，头也不抬，香汗淋淋，到了五更鸡啼，姑嫂都只砌了七层，姑姑兴盛，在鸡啼时随手扯了一窝芭茅，盖在玲珑塔顶上，恰巧像戴帽一样成了塔顶。嫂嫂塔顶面宽，找不着适合的东西做塔顶。比赛下来，姑姑让妈妈评比手艺，妈妈笑而不答，嫂嫂圆场说：妹妹比我修的快，连塔顶都有了。后来人们唤红塔和白塔叫和气塔。　关于白塔还有这样一个荒诞的故事，塔前有一块三分水田，每年稻谷茂盛，产量为其他水田的两倍至三倍，人们称呼之为神田。不巧，田中有一硕大石头，某年，田主人为了多收稻谷，便请来帮工，一阵手锤钻子将巨石打烂，现出一个箩筐大的洞，里面躺着一条红蛇，见石头开裂，箭一样逃走。吓得田主目瞪口呆，后来石头虽然搬掉，那三分田再也长不出好庄稼，田主人后悔不已。