西汉至三国魏时，金山镇境域属武威郡姑臧县。

西晋至十六国“五凉”时期，分属武兴郡晏然县和武兴县。

北魏至隋初，分属武威郡林中县和襄城县。

唐宋年间，分属神鸟县和嘉麟县。

元时，属永昌路西凉州。

明清时期，先后归凉州卫和武威县。

民国元年（1912年）后，属武威县丰乐乡。

1949年9月后，属丰乐区。

1952年7月，属第八区（丰乐）。

1956年1月，为金山乡。

1958年10月，与截河坝、青林乡合并成立丰乐公社。

1962年，成立金山公社。

1983年7月，设金山乡。

2018年3月，撤乡，设金山镇。