1885年2月，直隶总督兼北洋大臣李鸿章创设于天津。道员杨宗濂为首任总办，军事教习多聘用德国退役军官，首期百余学员，系从淮军中选拔的“精健聪颖”弁兵。

学堂初设步、马、炮、工程四科，1890年后增设铁路科。课程设置分学、术两科，学科教授中国经史、天文、舆地、格致、测绘、算学、化学、战法、兵器等；术科教授马、步、炮队操演阵式，枪炮技艺和营垒工程等。意在通过新式教育培养新型军事人才。学制一年。

学堂取德国教学法，注重实际演练和考核。每日教习以德语授课，学生靠翻译听讲。隔三五日到军营一次，演练筑垒、操炮技术和步、马、炮、工各队攻守战法，检验所学军事知识。精神教育内容陈旧，每日摘“古训”于黑板，令学生背诵，以激发“忠义”之心。考试制度严格，每逢月考、季考，李鸿章或派司道大员前往监考，或亲往检验甄拔。毕业考试成绩合格者派回本营，量才任用，不合格者留堂补学。1889年曾派段祺瑞、商德全等五名学生赴德国留学。