关于秦始皇修长城的传说，在各地有不同的版本，在彭阳则有一个关于”秦始皇与其儿子“三太子的传说。彭阳县城阳乡长城塬的长城，不是现代学术界认定的万里长城的主干，而是战国时秦长城的遗址，属我国最早期的长城，因此得名长城塬。在彭阳县城阳乡长城村建有一座白马庙，故长城塬在当地也叫白马庙塬。

据民间流传，秦始皇为了防备北方蕃王的侵扰，就下令各州府县，征集民夫，用武力强迫，修筑长城。当时正遭年馑，百姓个个面黄肌瘦，民夫饿得连路都走不动，哪来劲抬土打墙呢？秦始皇的三太子负责修筑彭阳境内的长城，他见此情景，对民夫十分同情，就下令歇缓一阵子。谁知道这些民夫太疲劳了，一头栽倒在地上就睡着了，等到了上工时间，再也叫不起来，一直睡了几天几夜。这时，秦始皇正好带着人来视察长城的修筑情况，一看民工没有修长城，反而在睡大觉，非常恼怒，查来查去，竟查到三太子头上。三太子触犯了天条，秦始皇一气之下，派人把三太子当众杀头，以鉴效尤。三太子的头虽然被砍掉了，可是屈死的身子却一直不倒，他无头的身躯顺着长城塬往下走，走到一块豌豆地边，肚子饿了，他蹲下摘吃豆角，可是摘下来却无嘴吃，拿到手里胡乱摸。恰巧被过路的人看见了，过路人奇怪地问：“你没有头，怎么吃？”三太子一听，就一下子跌倒在地上死了。 秦始皇杀了三太子后，一直向北视察，走到半路上，看见一只白山羊领了一个小羊羔，白山羊上了一道坎，可是小羊羔却上不去，白山羊转过身来，“咩咩”地叫唤着小羊羔。秦始皇见此情此景心想：畜牲都有爱子之心，我连痛子之心都没有吗？三太子已经被我杀了，可惜再也不能活过来了，现在就封他做个白马天神吧！后来，老百姓知道三太子是为了他们而遭杀身之祸的，就把他厚葬于长城塬上，又建起了一座寺庙，命名为“白马爷庙”。在长城塬还有一座巨型坟冢，当地人叫它“白马坟”。年头节下，人们都会到“白马爷庙”焚香化表，以祭奠这位为民着想的“三太子”。