1894，胡式禹生于河北省保定市唐县西大洋村。

1918年8月，入保定陆军军官学校第八期步兵科。

1922年7月，毕业后至奉军，历任排长、连长、副营长、团部副官等，参加过第一次直奉战争和第二次直奉战争。

1928年，任东北边防军司令长官公署军令厅参谋，是年春回乡探亲，得知妻侄、中共唐县特支书记刘墨精被捕入狱，即多方营救，终使刘墨精出狱去南方从事革命工作。7月至12月，胡式禹积极参与筹划东北易帜事宜。

1931年4月，调任平津卫戍司令部参谋处科长，后任处长。曾营救中共地下工作者康建生（唐县麻黄头村人，后曾任晋察冀军区敌工部长）出狱。此后，出任国民革命军第五十一军团长、副师长等职。

1937年，抗日战争全面爆发后，率部奉调江苏淮阴、山东曹县、安徽立煌等地阻击日本侵略军南下。