安远门址原为唐长安城太极宫与东宫交界宫墙的中段，唐末韩建改筑新城时被隔在北城墙之外。明洪武七年至十一年（1374年至1378年），向北扩建西安府城时新建安远门。

明洪武初，四外建有瓮城，并分别在内城、瓮城上建有正楼、箭楼二重。崇祯九年（1636年），陕西巡抚孙传庭于瓮城外加筑月城，月城上筑闸楼，并改原过护城壕之固定桥为吊桥。

民国初年，因于护城壕上架设桥梁，拆除闸楼及吊桥、月城，现已无存。

1983年，安远门箭楼因暴雨侵袭，楼基塌陷，楼体倾斜，先经抢修，后全面加固整修，沿袭至今。

1911年，陕西响应武昌起义，起义军在张凤翙带领下围攻安远门内东侧的满城，此战中安远门正楼被焚毁，现已无存。

安远门门洞，现已不再承担城市交通作用。1954年，于城门两侧各开辟两个券洞，供车辆行人通行。