出生官宦家庭。曾祖毛辉凤为道光举人，曾任四川綦江、江油等县知县，政绩卓著，人称毛青天。毛庆蕃于同治十二年(1873)中举，随后游学各地。在扬州，与刘鹗投在“泰谷学派”嫡传弟子李龙川先生门下，学问愈益大进。泰谷学派创立于清代中后期，被学术界称为“中国最后一个儒家学派”，门下名士辈出。毛庆蕃的思想立足程、朱，不杂阴阳之说。为此他曾与好友陈三立在湖南衡山论战，但两人以后长期保持友谊。 光绪十五年(1889) 中进士，先任小京官，后外放京畿等地担任小官职。甲午战争爆发，毛庆蕃为两江总督刘坤一保荐调办湘军粮台，坐镇天津，保障后勤。光绪二十六年左右，“以名儒任永定河道，为历来河臣之冠。每至汛期，亲赴两岸，昼夜巡视，督促人夫防堵险要，在任数年，河无决口”。两年后，由直隶派抚局道员调上海机器局总办，受命为帮总书记，与袁世凯筹建中国万国红十字会。不久调任南京金陵机器局总办。金陵机器局是李鸿章创办的近代兵器制造厂，经过近四十年经营，成为当时中国最大兵工厂之一。毛庆蕃全面经理兵器工业，以雪庚子之耻自誓，惨淡经营，食寝几废，不断扩大制造规模，改进制造工艺，以抵御外侮。