出身农民，青年时曾做过帮工、小贩。咸丰年间，在家乡与弟唐定奎等兴办团练。

咸丰十年（1860），受巡抚翁同书命，率乡团援寿州，力解城围。又从克合肥三河汛，解六安围，叙千总。

同治元年（1862），李鸿章率淮军援上海，唐殿魁跟随，隶属刘铭传，克南汇、川沙、奉贤、金山卫、柘林五城，积功累擢都司，赐花翎。

同治二年（1863），克江阴杨舍汛城，擢游击，赐号振勇巴图鲁。收复江阴县城，擢参将。寻克无锡，以总兵记名。从刘铭传攻常州，刘铭传受重伤，令唐殿魁偕副将黄桂兰督兵进。至奔牛镇，而常州、丹阳两路敌军群至，围之。唐殿魁据石营依河岸，壁垒悉为贼轰毁，坚守二十馀日。刘铭传裹创往救，唐殿魁从内夹击，苦战数日，围始解。

同治三年（1864），克常州，生擒贼首陈坤书，以提督记名。