王遵的父亲是上郡太守。王遵年少时就为人豪侠，有辩才。更始元年（23年），王遵与隗嚣同时起兵，为隗嚣的部下，并与隗嚣投归更始帝刘玄。

更始三年（25年），六月，光武帝刘秀称帝，建立东汉政权，隗嚣便向更始帝建议把政权移交给光武帝叔父国三老刘良，更始帝不听。诸将领想劫持更始帝东归，隗嚣参与了此次谋划。事情败露后，更始帝派人召见隗嚣，隗嚣称病不去，与部将王遵和周宗率军自守。更始帝派执金吾邓晔率军包围隗嚣，隗嚣关门拒守。到黄昏时，隗嚣突破包围，与数十名骑兵乘夜劈开城门，逃回天水。再招聚旧部王遵等人，占据原来的地盘，自称西州上将军，任命王遵为大将军。

建武八年（32年），来歙夺取略阳。隗嚣惧怕汉军将至，派诸将距守屯驻要塞，自己率领大军围攻来歙。成家政权的公孙述也派遣将领李育、田弇协助隗嚣攻打来歙，连月不能攻克。光武帝于是率领诸将西征，各路兵马齐向上陇进伐，派王遵持节监大司马吴汉留屯于长安。