1943年，考上上海南洋模范中学。

1947年，胡兆森参加护校运动，参与占领上海火车北站。

1948年，参加“反饥饿、反内战”的抗议和募捐活动。

1951年，毕业于上海交大机械系动力学专业，被分配至鞍山钢铁公司工作。胡兆森参加了我国第一个五年计划的三座大型自动化炼铁炉的基建工程。当时他提出一个重大的科学借水方案，使鞍钢七号炼铁炉提前一个多月竣工。

1954年8月，1954年，胡兆森以模范技术员的身份当选为第一届全国人大代表。胡兆森也是第二、三届全国人大代表，第八届全国政协委员。

1958年，胡兆森随后辗转到石景山钢铁厂、包钢、本钢、攀钢等钢铁厂工作，担任技术员、工程师，先后在动力、炼钢、轧钢、焦化、制氧等方面做出卓越贡献，被誉为“钢铁元老”。后调到冶金部、国家科委等工作，担任国家科委委员、基础研究与新技术局局长，国家自然科学基金委员会的常务副主任。