卫伯玉，有膂力，幼习艺。天宝中杖剑之安西，以边功累迁至员外诸卫将军。

唐肃宗即位，兴师靖难。卫伯玉激愤，思立功名，自安西归长安。初为神策军兵马使出镇。乾元二年十月，逆贼史思明遣伪将李归仁铁骑三千来犯。卫伯玉以数百骑于疆子坂击破之，积尸满野，虏马六百匹，归仁与其党东走。以功迁右羽林军大将军，知军事，转四镇、北庭行营节度使。献俘百余人至阙下，诏解缚而赦之，迁神策军节度。上元二年二月，史思明领众西下，图取长安。史朝义率其党，夜袭陕州。卫伯玉以兵逆击，大破贼于永宁郡。贼退，进位特进，封河东郡公。

广德元年冬，吐蕃入寇京师，乘舆幸陕州。以伯玉有干略，可当重寄，乃拜江陵尹、兼御史大夫，充荆南节度观察等使。寻加检校工部尚书，封阳城郡王。大历初，丁母忧，朝廷以王昂代其任。卫伯玉潜讽将吏不受诏，遂起复以本官为荆南节度等使，时议丑之。大历十一年二月入觐，以疾卒于京师。