咸丰五年（1855），任外委，随罗泽南攻取江西义宁州，升把总，赏蓝翎。后因攻取湖北通城、崇阳等地，得到湖北巡抚胡林翼的保奏，补千总，加守备衔。

咸丰六年（1856），攻克咸宁等地，进逼武昌，屡战屡胜，补守备。高连升平定兵变有功，擢升都司，赏花翎。

咸丰八年（1858），率湘军支援广西，收复洛容县等地，升游击。又随大军收复庆远，升参将。

咸丰九年（1859），随广西按察使蒋益澧收复柳州，补副将。

咸丰十年（1860），随蒋益澧平定罗华观起义。

咸丰十一年（1861），赏“尚勇巴图鲁”称号，率军收复浔州，补总兵。

同治元年（1862），授广西右江镇总兵。奉命率军前往浙江，收复寿昌。

同治二年（1863），收复金华，补提督。收复富阳，会攻杭州。