史俨精通骑射，勇猛过人，特别善于设伏制敌，生擒对手，每临战斗，身先士卒。唐末他追随河东节度使李克用，受到重用，史俨也全心为主。唐中和二年(882年)，李克用南下赴长安镇压黄巢起义军，唐乾宁年间再赴长安平息三镇（邠州、凤翔、华州）之乱，史俨都效力军前，且立军功。讨伐三镇时，李克用大军进驻渭北。当时邠州节度使王行瑜党羽想劫唐昭宗到邠州，凤翔节度使李茂贞党羽想劫唐昭宗到凤翔，两股党羽互相攻打，长安城内一片混乱，唐昭宗出城逃奔终南山石门。史俨奉命前往石门护驾，派出骑兵四处巡守。昭宗返京时， 史俨一路侍卫，“盗贼不作”。史俨因护驾有功，升为检校右散骑常侍。

史俨本为李克用爱将，后与李承嗣等奉命借道魏博救援被宣武军节度使朱全忠攻打的泰宁军节度使朱瑾。后来李克用养子李存信奉命救援朱瑾时得罪魏博节度使罗弘信，河东与魏博交恶，河东无法再经由魏博派出援军，史俨、李承嗣等也无法回到河东。后来泰宁军失守，史俨、李承嗣等随朱瑾转事割据江淮之地的淮南节度使吴王杨行密，也使得杨行密从此拥有了沙陀骑兵。杨行密对史俨倍加优待，视为上宾，为他选美妻，建华宅。史俨本为落难将军，有路难归，既受杨行密如此厚爱，自然愿意竭死以报。杨行密能够于清口大挫梁军（唐乾宁四年，897年）、攻陷鄂州（今湖北武汉），擒节度使杜洪，并吞江西钟传，削弱与之抗争的吴越钱镠，最后成吴霸业，都有史俨的一份功劳。