1954年2月18日，上海市体育运动委员会(简称市体委)成立。市体委作为领导全市体育运动的政府职能机构，负责指导、协调全市体育工作，领导和管理市属体育事业单位。市体委成立之初，由秘书长李凯亭负责日常事务，体委设行政编制37人，组织形式为三级制，体委下设办公室，办公室下分设秘书、群众体育、运动竞赛、干部训练、事业管理5个科。1956年又增设人事科和国际联络科，撤销秘书科，行政编制增加到60人。1957年，组织机构进一步调整为2室3处3科，即主任以下设办公室、人事室、运动竞赛处、群众体育处、教育处、场地器材科、国际联络科和计划财务科，组织机构仍为两级制。1956年10月成立国防体育协会筹备委员会办公机构，管理全市国防体育活动。

第一届全运会结束后，市体委机关在原有2室5处的基础上，一度增设党委办公室和研究室，1960年9月，为贯彻中央精兵简政，紧缩编制的指示，机关进行整编，撤销研究室，党委办公室与人事室合并。至1962年，仍设7个处室，行政编制紧缩到67人。1964年，增设国际联络处，同时将人事室改为人事处，行政编制调整为73人。