唐懿宗咸通年间（860年－874年），张公素在卢龙节度使张允伸手下任军官，最后官至平州（在今河北秦皇岛）刺史。

咸通十三年（872年），张允伸去世，其子张简会为留后，张公素率州兵入幽州奔丧。由于卢龙军士素来尊敬张公素，张简会害怕他攻打自己，逃到长安。唐懿宗就任张公素为留后，随后又任他为节度使。

咸通十四年（873年），唐僖宗继位，加张公素同中书门下平章事。

据记载，张公素任节度使后残暴而粗鲁，常以眼白示人，故被称作“白眼相公”。乾符二年（875年），李茂勋计划反叛，勋袭杀深受信服的纳降军使陈贡言，夺其军权，进军幽州，自称是陈贡言的先锋部队。张公素迎战，兵败逃到长安。当李茂勋进入幽州，人们才知道这不是陈贡言，但也只能支持李茂勋了。