学校创建于清光绪三十二年（1906年），始名“第二女子学校”，（创办人班亦超校长），是当时南京城仅有的三所学校之一。1915年因招收男学生，校址从始建的三条营（现永坚幼儿园）迁至小英府（现南京旅游学校），又更名为国民第十小学。北伐后，学校又从小英府搬至马道街3号，更校名为“马道街小学”。

由于学校越办越兴旺，人数愈来愈多，至日伪时期，每个班级人数达到70多人。每年学校对新生及转进学生，坚持择优录取，考试合格方可进入马道街小学。足见当时马小在南京是颇有名气的一所学校。1944年设分校（现小西湖小学），学校共有18个班，设有“童子军”课程。

新中国成立后，马道街小学转为政府公办学校，一直办学至今，依旧为祖国的教育事业作出自己的贡献。2003年，为了适应教育发展的需要，学校由马道街迁至边营86号。今天的马小已经经历一百多个春秋，为祖国培养了大批人才。