青叶区前身为旧仙台市的中央及北部，以及原宫城郡宫城町。在江户时代里，仙台的中心处于该区东部。

1987年，本属宫城郡的宫城町并入仙台市。至1989年，仙台市成为政令指定都市，同时设立青叶区，当时该区人口为245,881人。

区名取自区内的青叶山及青叶城，当中后者为仙台城的雅称。命名方面采用公开征名模式，票数最高的三个入选名称由高至低，分别为青叶区、中央区及广濑区，最后政府选择了“青叶区”这个名称。