王延贵（后改名王虔休）自幼勤奋好学，为人讲信义、重言诺，颇得乡邻赞誉，又喜好武艺，远近驰名。

唐代宗大历（766年－779年）年间，汝州刺史李深发现王延贵的才识，于是收用他为裨将。王延贵不辜负李深的期望，很快成为各州属将中出类拔萃的佼佼者。泽潞军节度使李抱真（后泽潞与昭义合并，李抱真专任昭义军节度使）得知后，以丰厚的财帛招揽王延贵到自己麾下。数次迁升为泽潞军兵马押衙。

唐德宗即位后，四镇之乱兴起。李抱真统率昭义军与诸路将领，讨伐河朔三镇。在双岗、水寨营诸战役中，王延贵身先士卒，冲锋陷阵，战功累累，得以迁升为步军都虞候，接连加官御史中丞、御史大夫，获封同昌郡王，实封食邑加至一百户。

贞元十年（794年），李抱真病逝后，昭义军裨将元仲经等人，企图拥立李抱真子李缄为留后，军中出现动荡迹象。王延贵召集全体将士，义正辞严地说：“军州是国家的军州。将帅缺额，理应等待朝廷的任命。哪能自作主张，随意变乱法度闹独立”。将士们一致赞成他的意见，由此避免了一次内乱。唐德宗对王延贵以大局为重的举措非常赞赏，擢升其为潞州大都督府左司马，掌昭义军留后，赐其名为王虔休。王虔休严明号令，勤恳处理军政事务，俭省节用，减轻农民负担，鼓励发展社会生产。潞州连年丰收，民富军强，辖内各州储粮可供数年的军队开支。