丽安邨的原址曾经属于深水埗军营及越南难民营，丽安邨的兴建与深水埗军营及越南难民营是息息相关的。

深水埗军营于1927年开始使用，军营分为「南京军营」和「银禧军营」，及至第二次世界大战时，日军攻占香港，日军把军营改变为战俘集中营，用以囚禁当时驻港而被俘虏的加拿大、印度和英国籍出租车兵。第二次世界大战后英军重新使用深水埗军营至1977年，军营于1977年关闭后部分便建成了丽阁邨及深水埗公园。

而港英政府于1979年宣布香港成为「第一收容港」，军营其余的位置改建为「越南船民营」，而越南船民营于1989年11月关闭后，其位置建成了丽安邨、怡靖苑和西九龙中心。丽安邨和怡靖苑于1993年首季入伙，西九龙中心于1994年启用。而丽安邨邻近长沙湾道和荔枝角道，而长沙湾道是各条大部分来往新界西的巴士线必经之路，交通十分方便。丽安邨亦同时邻近西九龙中心，拥有完善的生活需要设施。