此街原分东西两段。东段旧为深沟土道。相传，高坡处原有一株老槐及两株柏树，故称槐柏树。西段为清镶蓝旗驻军营房内的道路，称东西宽街。1965年将东西两段合并，统称今名。

槐柏树街西头南侧共有十一条胡同，称槐柏树南一至十一条；北侧共有十条胡同。称槐柏树北一至十条。均为过去营房。

五十年代起，此处开始改建。1954年在东段建市府大楼。七十年代末期开始建宣武艺园，1984年建成。九十年代对原营房地区进行危房改造，盖起居民楼，称槐柏树北里。

以槐柏树为名，尚有槐柏树前街，槐柏树后街。