这条胡同形成于明朝，当时有米粮的集市，形成街道后，称“米市胡同”。在东城区还有个叫“米市大街”的地方，多路公交车设有米市大街站。它就是现在的东四南大街南段，也就是金鱼胡同东口至灯市口大街东口一段，民国十年(1921年)出版的《新测北京内外城全图》上就有明显的标注。这是一条比较古老的街道，早在明清时就是北京商业金融发达之地，有米市、灯市、驴市等，店铺很多，生意兴隆。其中一段因街道两侧以米市居多而称“米市街”，又称“米市大街”，1947年整顿地名时并入东四南大街，此后只留下“米市大街”地名。