贾彝，字彦伦，祖籍武威郡姑臧。其六世祖贾敷在曹魏政权时期做过幽州的刺史，并被封为广川都亭侯。由于常在幽州，所以贾敷的后代子孙定居于幽州。

贾彝的父亲名字不详，在前秦宣昭帝苻坚时期官至钜鹿太守，后遭人毁谤而入狱。当时贾彝才十岁，为了替父亲伸冤，贾彝来到前秦都城长安上诉，最终苻坚赦免了他的父亲，远近的人都为他的孝行感慨，前秦的国人都称赞他：“此子英俊不凡，不愧是贾谊的后人啊，可谓首屈一指。”

贾彝长大后前秦已经分崩离析，他被后燕皇帝慕容垂任用为骠骑大将军、辽西王慕容农的记室参军。北魏道武帝拓跋珪早就听说了贾彝的名声，经常派遣使者向慕容垂请求能把贾彝交给自己。慕容垂听说后更加厚待他，升迁贾彝为骠骑长史、昌黎太守。不久，慕容垂遣其太子慕容宝与拓跋珪战于参合陂，在参合陂之战中后燕大败，拓跋珪活捉贾彝、贾润等人胜利回师，此战后后燕开始衰败。