忠山，古称堡子山、宝山、泸峰山，明崇祯年间因纪念诸葛亮而改名忠山。传说三国时期，诸葛亮平定南中时曾驻兵于此。因诸葛亮“鞠躬尽瘁”，对国家忠心耿耿，明朝时把宝山改名为忠山。山顶原有武侯祠，始建于宋庆元年间，为纪念诸葛亮及其子诸葛瞻、孙诸葛尚，又称三忠祠。

1982年，从三忠祠遗址中发掘出蜀汉文臣武将石雕像120多尊。忠山整体蔚为壮观，它西起龙透关，北濒沱江，包含西南医科大学忠山片区，是老城发轫之处，也是泸州的制高点。登临山顶，俯瞰曲水如带环抱泸城，西观方山云烟雾绕，东眺长江一泻万里，宝山春眺由此得名。

1965年，在忠山山麓动工修建人民公园（即泸州忠山公园）。

1986年，这里被确定为泸州市文物保护单位。

2018年，泸州市牵头重建江山平远堂，主体建筑完成后交由西南医科大学进行文化装饰打造。