党卫队人种与移居部的前身为1931年由海因里希·希姆莱和理查德·达雷建立的党卫队人种局（德语：Rasseamt der SS），它与1931年建立的党卫队办公局（德语：SS-Amt，党卫队行政部的前身）、党卫队保安局（德语：Sicherheitsdienst，党卫队国家安全部的前身）一起是党卫队最早成立的3个部门。理查德·达雷为第一任局长。

1935年，党卫队人种局被更名为党卫队人种与移居部，理查德·达雷担任部长，1938年—1940年君特·潘克任第2任部长，1940年—1943年奥托·霍夫曼担任第3任部长，1943年—1945年理查德·希尔德布兰特担任第4任也是最后1任部长。