从山由人的传说和家谱得知，明末清初，即17世纪初叶，他们从我国迁入越南。他们的迁徙不是一次完成，而是陆陆续续迁入。现今，有一些山由人还有亲戚在我国广东。

山由人有悠久的水稻种植历史，除平地的水田外，还有梯田，生产水平不亚于京、岱、侬族，使用的生产工具效率都很高，有犁、双耙、大镰刀、木或石滚、木轮运输车。收割后打谷脱粒方法与其他民族不同，把收割的谷穗成圆形均匀撒在谷坪上，一人牵着2或3头牛站立在圆心位置，让牛按圆圈踩踏谷穗，使之脱粒。

山由人的田地使用率很高，从不荒芜田地，农作物一茬接一茬。除水稻外，还种植玉米、红薯、甘蔗、花生、豆、瓜、菜，也间种其他农作物，因此要用很多肥料，如厩肥、草木灰、腐烂的根叶、绿肥、塘泥、大粪。

山由人多才多艺，还会编织竹器、炼铁、制作木器、水泥活、烧制砖瓦、海河捕鱼、湖塘养鱼、种桑养蚕、种棉织布、种蓝靛染布。在广宁省海边的山由人还会制海盐，农闲时则上山打猎。

过去简陋的山由人村庄已有很大的改观，村材翠竹围绕。每村都有井、园圃。大的村庄有二三百座房屋，大多是茅草顶土墙木柱，低矮，少窗，潮湿，式样与越、华、岱族相似。

山由人是父系小家庭社会，家长是丈夫或者丈夫的父亲。有李、陈、张、宁、徐、黎、叶、左等姓。他们认为，以前各姓都生活在一个共同的地方，都共同供祭一位祖先，后来分散到各地，相隔远了。各姓都有字辈，有7个字，9个字，12个字的，每代用一个字辈，周而复始。同姓不相识的人，只要看字辈，就可以认出辈份，排出长幼，关系就会更亲切。如小孩经常患病，认为难养，就得换姓。

山由人实行一夫一妻制。若妻子只生女儿不生儿子，可以纳妾，但这种现象很少见。缔结婚姻由两个因素决定，一个是父母决定，另一个是看男女双方的命是否合。一般同姓不通婚，如同姓结婚则要相隔5代以上。此外，还要举行向祖先谢罪礼才能结为夫妻，这种情况也不多见。张姓和李姓则不通婚。终身入赘的上门郎不改姓，但可继承妻家财产，有义务供祭自己和妻子的祖先，在神台上，左边的香炉是上门郎祖先的神位，右边的香炉是妻子祖先的神位。山由人过去只和本民族通婚，现已与华、京、岱族和高栏、山子人通婚。

山由人婚礼的花费很大，具有买卖婚姻的性质。与一般婚礼不同的是，山由人的婚礼要在女方家举行，要煮熟两个鸡蛋或鸭蛋，用两根红线穿过鸡蛋或鸭蛋，每根串上两枚铜钱，碟子置两张剪成的纸花，上面是红纸花，下面是白纸花，蛋放在纸花上。旁边置供祭祖先的酒瓶，新郎新娘把蛋壳剥掉，把蛋黄溶于酒中，敬请每位宾客饮一口，先是新郎一方的长者，后是女方的长者，再轮到一般的客人，饮者感到荣幸，祝福一对新人幸福，白头到老。青年们歌唱欢乐，然后在新娘家过夜，翌晨，送新娘到新郎家。

山由人一家一年内不能添两个新人，即同一年生孩子和娶媳妇，否则得到家外面去分娩。

平时山由人男子穿用布缝制的圆领长袖、对襟短衫。节日庆典，则穿丝绸长衫，白裤，留长发，戴头巾，穿鞋。女子最喜欢粉红色、棕色的布和绸上衣，白色或蓝色绑腿布，头巾、腰带、裙、裤喜用蓝靛色和黑色。男子普遍穿西服，女子穿与京族、岱族相同的衣服，长袖对襟短上衣，长裤，戴黑色或蓝靛色头巾。

丧葬也有其特点，父母死后入葬，儿子要在坟穴左边爬行，女儿要在右边爬行，边爬行边培土入坟穴，完毕之后各人抓一把土，赛着跑回家，不能回头，可把手上的土撒入鸡栏、牛栏、猪栏，意思是让家禽、家畜兴旺繁殖。然后又迅速跑去坐谷桶，如果谁的裤子沾上的谷粒多，谁就幸运，有福气。在指定的地方置有一只熟鸡，第一个到来的人吃鸡冠，依次吃鸡翅，待鸡吃完，葬礼就结束，3年后再拾骨举行二次葬。