汉武帝后期，聚居在西北部的羌族，经常向内地侵扰，攻城略地。匈奴也想联合羌人共同侵扰汉朝。面对这种形势，武帝曾提出要斩断匈奴右臂，指的正是这种联合，但派去的士兵也为羌人所败。这时，羌入又逐渐向湟水以北移动，找寻农民弃耕的地方去放牧。同时羌人各部落也有联合一致的趋向，郡县官吏也禁止不了。这时匈奴又想勾结羌人，以扩大对汉西部的侵扰。汉朝派往浩窖（今青海省大通河东岸）的军队，被羌人打败，损失甚大。

宣帝期间，光禄大夫义渠安国出使到了羌族，羌先零部落酋长向他表示要北渡湟水，到汉民不种田的地方畜牧。义渠安国向朝廷报告这个情况。赵充国弹劾义渠安国奉使失职。从此以后，羌人依照以前的话，擅自渡过湟水，当地汉朝的郡县长官不能禁止。元康三年（公元前63年），先零部落与各个羌族部落酋长二百多人“解仇交质”，订立盟约，打算共同侵扰汉朝地区。神爵元年（公元前61年）春，大汉中央两府（丞相、御史）又推荐义渠安国出使诸羌，了解其动向。义渠安国不懂策略，一到羌部，就召集先零部落的头领三十多人，以他们都有逆而不顺之罪，全部斩首。调兵镇压先零之民，杀了一千多人。于是羌族各部及归义羌侯杨玉等都很震恐，离开其地，劫掠其他小族部落，犯汉边塞，攻城邑，杀长吏义渠安国以骑都尉身份带领三千骑兵守备羌人，被羌人所击，损失惨重。他领兵退到令居，向皇帝报告。