1940年3月设置，称山东省泰山行政督察专员公署。

1945年7月13日，山东省鲁中行政区第一届参议会在山东省沂南县大松林开幕，成立山东省鲁中行政主任公署（简称山东鲁中行署），山东泰山属之。

1948年7月，山东鲁中区、山东鲁南区、山东滨海区三个行政区合并为山东省鲁中南行政区，设山东鲁中南行政区（公署驻山东临沂境内）。10月，山东泰山改为山东省鲁中南行政区第一专区。