传说唐朝年间，这个地方较为荒芜，只有一条村庄，住着三十几户，共有一百多人。

有一天有头大白牛走到这里，大多数村民主张把它宰杀分吃，每人一份。有个头发花白的老婆婆认为阴功，拒不接分给她的牛肉

第二天有一个白发银须的老公公持拐杖来到该村，问到这个老婆婆，查问白牛的去向。老婆婆告诉老公公白牛被杀害的经过。老公公很气愤，稍停即对老婆婆说：“今天晚上你家人到村北背那个小山岗过夜，千万不要讲给其他人知道，你便能逢凶化吉，可保无忧。”说完便不见了。

当天入黑，这个老婆婆按照老公公的叮嘱去做。午夜时天空乌云密布，雷鸣电闪，风雨大作。忽然轰隆一声，顿时村庄都沉没了，成为波涛汹涌、白茫茫的大海，只有中间浮起个象牛的山岗，保住了老婆婆全家的性命。后来人们便命名此地叫白牛塘。