《明史·职官志》称：兵马司“指挥巡捕盗贼，疏理街道、沟类及囚犯，火禁之事，凡京城内外，各划境而分领之”。明清年间，北京的东西南北中五城皆设有兵马司，外城也设有兵马司。在今日之北京地名中，称之为“兵马司胡同”者有三处，在外城者有南兵马司，位于宣武门外菜市口。在北城者，有北兵马司，位于安定门内交道口。在西城者即昔日之西城兵马司，位于丰盛胡同与大院胡同之间。其辖区范围大体是今北京市西城区的城垣之内的南半部，东起西安门，西阜成门南北顺城街，南起宣武门东西顺城街，北至今平安大街。今平安大街以北的地区性，从前归北城兵马司管辖。

兵马司的设置始于明朝永乐二年（1404）为正五品衙门，各设指挥官一人，吏目一人，兵若干人，马若干匹。清朝顺治元年（1644）沿袭明制设官与明代同。明代的兵马司隶属于兵部。清代的兵马司隶属于都察院。据说，兵马司初设时，街区凡有水火盗贼及人家细故之或须闻之官者，皆可一呼即应，救火、巡夜，清廉为政，不取分文。但是到后来日久弊生，始而捕盗，继而讳盗，终且取资于盗，同盗合污，不得人心。光绪十六年（1890）就有大臣向皇帝禀奏，“京城地面捕务不力，请饬整顿”。光绪二十七年（1901）撤销五城兵马司，成立工巡局。光绪三十一年（1905）九月撤销工巡局，成立巡警部。北京设置警察总厅和内外城警察厅。此为北京警察设置之始。至宣统末年，北京设置派出所，当时，内城有二百零四个派出所，外城有一百三十六个派出所。

兵马司9号院，是民国时期的著名科学机构——中国地质调查所的所址，该所于1913年成立，1916年迁入兵马司胡同9号（即现在的兵马司胡同15号）。当时依靠社会捐助形成了3栋建筑：图书馆楼、办公楼和燃料研究室楼。

据介绍，兵马司9号是一个多学科开拓的科学机构，是当时中国地质学，包括矿床学、石油地质学、古生物学等学科的学术中心。如该调查所发现了第一个完整的“北京人”头盖骨；兵马司9号的土壤研究室还组织了第一次全国土壤调查。

据考证，兵马司9号院内的办公楼于1926年春，由地质调查所所长翁文灏聘请贝寿同工程师设计并监工。贝寿同先生是建筑大师贝聿铭的叔祖，是中国到西方学习建筑的第一人。

2002年28个院士联名呼吁保护的发现了第一个完整“北京人头骨”的兵马司9号院的提案,有了初步结果。昨天(25日)，国土部就“关于保护和恢复北京西城区兵马司胡同民国期间原农商部地质调查所旧址问题的提案”召开跟踪办理协商会，副部长、中国地质调查局局长汪民介绍了国土部有关兵马司9号保护和利用的设想——尽早将其核定为北京市级文物保护单位并申请国家级文物保护单位；同时及早开展修缮工作，并请北京市政府给予支持，解决兵马司9号现有住户搬迁问题。

兵马司9号院，是民国时期的著名科学机构——中国地质调查所的所址，但“文革”至今，该院被作为民宅和库房使用，目前实际住户多达70户（包括临时住户）。2002年10月，28位院士联名呼吁保护兵马司9号。2002年9月到2006年11月，多位全国政协委员也提交了保护兵马司9号的提案。

据国土部副部长、中国地质调查局局长汪民介绍，国土资源部党组高度重视兵马司9号保护工作，2001年即开始关注兵马司9号院，2002年3月保护工作正式启动。

昨天召开的提案跟踪办理座谈会上，国土部明确了兵马司9号今后保护和利用的设想：一是请北京市文物局根据最新研究成果，对兵马司9号进行文物定级，希望尽早核定为市级文物保护单位。并请国家文物局在下一步的文物保护单位定级申请工作中，将兵马司9号核定为国家级文物保护单位；二是按照文物等级制定保护和利用规划，申请国家财政专项资金，及早开展修缮工作；三是请北京市人民给予支持，解决兵马司9号现有住户搬迁问题，并将兵马司9号的保护与利用纳入到北京市城市建设总体规划中去。

2011年3月7日，北京市第八批市级文物保护单位名单出炉。其中，西城区榜上有名。

2022年，入选首都功能核心区传统地名保护名录（街巷胡同类 第一批）。