刘连捷起初任外委，隶属于同族刘腾鸿的湘军后营，转战湖北。罗泽南推荐给湖北巡抚胡林翼，命率领副后营，擢千总。

咸丰六年（1856），跟随刘腾鸿救援江西，战于瑞州，刘腾鸿中炮战死，刘连捷率所部收复瑞州。为曾国藩所看重，推荐他改任文职，以知县留任江西补用。跟随曾国荃攻克吉安，擢同知，赴安徽助剿，

咸丰十年（1860），大捷于小池驿，擢知府。由集贤关攻安庆，击破援军。

咸丰十一年（1861），再次破援军于集贤关，攻克安庆，擢道员，赐号果勇巴图鲁。

同治元年（1862），刘连捷攻打巢县东关，太平军立石墙于罗星山，刘连捷率死士趁夜渡河，纵火烧贼营，攻克西梁山、濡须口，渡江收复太平府、金柱关、芜湖，乘胜进军江宁。刘连捷驻守军营，李秀成、李世贤率军来攻，以炸炮轰毁营壁，刘连捷筑造横墙据守，常乘敌人松懈，夜出攻破贼堡。等到敌军撤退，以按察使记名，加布政使衔。大营恃无为州通饷道，刘连捷率三千人驻守于城外石涧阜。