后周显德二年（955），周念七与兄念六、弟念八避中原之乱，由祖居地安徽舒城县麻地携家南迁，途中遇陈抟老祖指点，嘱念六遇黄土、念七遇乌兔、念八遇屏风而止。念七行至湖口县花尖山，果遇乌兔，遂卜居焉，为湖口乌兔周氏一世祖。村名大屋场（位于今张青沈仙里东面，至十世而十派分迁，遂成遗址）。南宋乾道年间（1165－1173），周公才（十世）由花尖山大屋场迁棠山南麓。山以棠棣丛生而得名，棠棣又寓意兄弟，故名“棠山村”。

系乌兔周氏棠山派始迁地与发祥地。因族大人蕃，村庄规模不断扩大，后以巴茅墈为界分为上下两湾，按地势高低，居上首者名为上棠山村，此居下首，故称下棠山村（俗称大屋里）。后裔多由此分迁各处，现居此者多为十六世以信、以忠后裔。后有李姓（原居杨家山李祖湾）、饶姓、金姓相继迁入合居。距流泗镇北偏东5公里。村中祠堂（大夫第）藏头对联曰：“棠甘蔽芾留遗爱；山蔼苍茫绘笑容。”门前左右有旗鼓石各一对。因谱注未详，未知来历。1938年日寇进犯湖口，曾将村庄焚烧一空。