1950年9月，为了对全军干部实行自上而下的统一管理，中央人民政府人民革命军事委员会决定成立总干部管理部，称中央人民政府人民革命军事委员会总干部管理部。部长罗荣桓，第一副部长赖传珠、第二副部长徐立清。下设任免考核、军衔奖励、调查统计、抚恤保健、秘书5个处。同年10月底，将5个处调整为4个处：一般兵种干部处、特种兵干部处、军衔奖励抚保处、秘书处。1951年底，编设5个局1个办公室。1952年8月又改为5个部一个办公室，即一般兵种干部任免部、特种兵干部任免部、组织统计部、军衔奖励部、抚恤保健部、办公室。1952年7月，总干部管理部改称总干部部。1953年9月，撤销抚恤保健部，其工作任务分别移交总后勤部卫生部、财务部和本部的组织统计部。1954年12月，改称中国人民解放军总干部部。部长罗荣桓（后萧华），第一副部长宋任穷、赖传珠，第二副部长徐立清，副部长甘渭汉。1955年5月，增设预备役干部动员部（后缩编为1个处，并入总参谋部动员部）。1957年4月，总政治部干部部并入总干部部，在总干部部建制内成立政治干部任免部。总干部部成立后，全军团以上机关也设立了直接隶属于本级党的委员会和军政首长的干部管理部门。50年代中期，围绕实行薪金制、军衔制、勋章奖章制度，总干部部制定了一系列条例和规定，人民解放军的干部工作向制度化方面迈进了一大步。