回族等10个少数民族实行土葬，有其深刻的历史根源和宗教影响，依照伊斯兰教的教义，“安拉”（伊斯兰教信奉的主宰的名称）用泥土造化了人的生命，又回归于泥土之中，然后再从泥土中复活。据此，信仰伊斯兰教的民族千百年来实行土葬，并演变成了回族等少数民族的生活习俗。新中国成立之初，在实行殡葬改革提倡遗体火化时，国家民委和民政部就明文规定回族等10个少数民族保持土葬习俗不变。解放后，上海市人民政府为尊重回族等十个信仰伊斯兰教的少数民族的土葬习俗，在市郊大场、龙华、浦东等处划定一些分散的小规模的回民墓地。文化大革命期间，市内各处回民公墓均被毁，并强迫回民死亡后一律实行火葬。1979年2月，国家民委、民政部发出《关于不要强迫回族实行火葬问题的通知》。同年4月，上海市民政局、上海市民委发出《关于恢复回民公墓的通知》，决定在青浦徐泾卫家角，原吉安公墓旧址，恢复回民公墓。1985年，上海市回民公墓由市民政局移交给市民委管理。1986年10月，经上海市编制委员会批准，成立了上海市回民公墓管理所。