同治元年（1862），李长乐以外委跟随郭松林隶属淮军，担当营官。攻克柘林、奉贤、南汇、川沙、金山，解松江之围，收复青浦，擢千总。战于四江口，郭松林屯军方泰镇，李长乐率军深入，靠近贼堡。半夜，李长乐叫醒部下，说：“如今陷于贼中，明早就会被贼发觉，无得脱者。只有出奇计劫营”，于是投火烧毁敌人的帐篷，鼓角袭击，敌军惊扰，李长乐奋勇出击，大破之。又设伏黄渡，等到敌军渡过一半的时候进攻，又击败太平军于吴淞江南。解四江口之围，擢都司，赐花翎。

同治二年（1863），进屯常熟王庄，敌人的援军至陈市，阻挡官军的进军之路。李长乐跟随郭松林自南漍攻击敌军右，连破敌营，直趋长泾。李长乐陷阵伤胫，裹创力战败贼，擢参将，赐号侃勇巴图鲁。李长乐攻克江阴，直取无锡，出新塘桥。太平军凭借堡垒鸣炮俯击，李长乐将身上的衣服打湿，裹身越沟而进，败之；追逐敌军至亭子桥，刺中敌军首领黄子隆的肩膀，又设伏兵击败援兵。李秀成围大桥角营，李长乐随郭松林救援，夺其舟，太平军退走，尽平梅村诸垒。围攻无锡，李长乐率轻骑杀到城下，靠着梯自爬城而入，黄子隆被擒，李长乐擒获其子黄德懋。后因失察部勇，免职留在军中。进攻常州，李长乐救援总兵唐殿魁于奔牛镇，解其围困。