张焕纶是近代小学教育的创始人。光绪四年(1878年),邀集同窗好友沈成浩、徐葵德等人,筹资兴办书院。将自己住宅的部分厅堂、庭院,拨作校舍,招收学生40余人,分班组进行教授。因为就学的都是刚开蒙的儿童,学校定名为“正蒙学院”。学校的办学体制、课程设置、教学内容以及组织管理都参照西方学校的方法。光绪八年,学校改名“梅溪书院”。为适应社会环境,增设英文、法文课,还注重体育和军事训练。

光绪二十三年,盛宣怀聘张焕纶为南洋公学首任总教习,主持学校教务。由于缺乏资金,张焕纶决定先办师范班,招生40人,培训后留校作为教师。这一举措,开了中国师范教育的先河。

光绪二十四年,张焕纶因病辞去南洋公学总教习职务,仍主持梅溪书院事务。光绪二十八年担任敬业学校总教习。