石碑胡同始于明代，以石碑得名。是什么石碑能如此引人注目呢？有两种说法。一说是胡同南口为明锦衣卫故址，此处曾题名碑。《顺天府志》“刑部在皇城西，即明锦衣卫故址称建。大堂壁间明锦衣卫旧有锦衣卫题名碑，后毁于火”。

另一种说法是，在石碑胡同北口，有一通下马碑。这通石碑高约四米、宽约一点五米、厚约三十五厘米。为汉白玉石雕琢而成，上刻八个大字“官员人等，至此下马”，竖立于西长安门之外，明代的锦衣卫，清代改为銮仪卫，是皇家的禁卫机构。今石碑胡同以东的地带，皆为明代锦衣卫故址。此地目前正在建国家剧院。