汉代将重将、厩将、城将、弩将、亚将等作为别将，《史记·项羽本纪》：“诸别将皆属宋义，号为卿子冠军。”《汉书·高帝纪上》：“五月，项羽拔襄城还。项梁尽召别将。”颜师古注：“别将，谓小将别在他所者。”《三国志·魏志·明帝纪》：“征东大将军曹休又破其别将於寻阳。”

魏中期以后，与主帅都督别道傅翼而行之将渐称别将，北魏、北齐、北周之别将，隶属总管，正六命，与都将、统军、军主、幢主并称五职。（见《北周六典》卷十）

唐代制度，军官中设有别将一职。以隋代之车骑（即为鹰扬副郎将）为别将，后定名果毅都尉。《旧唐书·职官志》说：“左右亲士府统军各1人，掌率左右别将，侍卫陪从。”在各折冲府也设别将。又别将一般也用作偏将的代称。武德年间改称车骑将军为别将，又改称果毅都尉。武则天时，废折冲府长史，改为别将，其位次于果毅将军，其上、中、下府分别为正七品下、从七品上、从七品下。此时的别将不判府事，若无兵曹以上之官，则知折冲府事。别将又一般用作偏将之代称。