公元前121年（汉武帝元狩二年），霍去病定西河地，小月氏出山，与汉人杂居。共有七个大种，分布在湟中及令居 ，称“湟中月氏胡”。另有数百户在张掖，称“义从胡”。

至于往东南迁至今日中国甘肃及青海一带的小月支，由于当时尚在汉朝管辖以外，为匈奴所管治，这一班居住在匈奴人中间的月氏人，渐渐地与匈奴本族融入，被称为匈奴别部卢水胡。其中沮渠家族推后凉汉官段业为主，在现甘肃地区建立北凉。后沮渠蒙逊杀段业，自立为北凉主。后被鲜卑人拓跋氏北魏所灭。