魁玉的祖辈驻防荆州。魁玉生于江陵县荆州东城。少时习读诗书，操练武功。稍长，以二品荫生入军，后由镶红旗协领升凉州副都统。

咸丰三年（1853年）冬，率部会同曾国藩部在新洲、阳新一带截击太平军，后在湖北办理军务。率军四处镇压农民军，佐统帅桂明先后收复武汉、沔阳、汉川、黄州、蕲水等10多个州县，赏戴花翎。咸丰五年（1855年），太平军曾天养部挺进鄂西，咸丰帝诏魁玉署荆州右翼副都统，在汉水一带堵截太平军。5月，调任江宁副都统。率军驻天京（金陵）小水关，与太平军李秀成部对峙四年。

咸丰八年（1858年）署江宁将军，同钦差大臣和春率江南大营清军与陈玉成、李秀成部接战，威胁天京。咸丰十一年（1861年）与冯子材同任镇江军务帮办，勾结英、法组织“洋枪队”“常胜军”进攻太平军。同治三年（1864年）攻陷丹阳，打开通向天京的门户，得赏巴图隆阿巴鲁名号。6月初，与曾国藩、李鸿章、左宗棠攻陷天京，赏云骑尉世职。12月，调京口副都统。