河南北路原名北河南路，为河南路（今河南中路）越过苏州河的向北延伸。此处近苏州河原有天后宫（河南北路3号）。1874年，闸北地方当局筑成自天后宫到七浦路的南半段。1876年英商怡和洋行沿此路铺设淞沪铁路，在七浦路口设车站，次年即被清朝政府收购拆除，因此北河南路俗称为铁马路。同年，在南端苏州河上架设木桥，与河南路连通。1882年，上海公共租界工部局在南端北苏州路到天潼路段铺设碎石路面。到1893年分段修筑完成。1896年，上海公共租界工部局出资购得北河南路，20世纪初成为进出北站的交通要道，商业繁盛。1946年接收租界后改名为河南北路。