1928年，改名为上海市市立务本女子中小学。

1929年，小学部改为附属小学（今上海市黄浦区卢湾二中心小学前身），高、初中均双级，高中分普通与师范两种。

1934年，中小学独立建制后，中学部定名为上海市务本女子中学。

1937年8月，黄家阙路二校舍被日寇炮火夷为一片瓦砾，学校迁往租界内上课，改名怀久女子中学，分南北校舍上课，南校在毕勋路（今汾阳路）77号，北校在威海卫路，后迁到孟兰路（江阴路）九福里，学生七百余人；学校设董事会，负责人徐寄顷，校长由原务本女中教务主任顾风城担任。

1941年，太平洋战争爆发，为防止汪伪政府接管学校，宣布停办。

1945年10月，务本女中复校，仍定为上海市市立务本女子中学，仍分南、北两校舍上课，南校仍在旧址，北校在欧阳路221号（原日本人学校旧址），只招收初二、初三、高一、高二四个年级，每级分甲、乙班，共八个班，学生约250人，仍由杨明辉任校长。

1947年1月9日，举校迁至永康路200号（即现址）原法国雷米小学校址，初中每级四班，高中每级二班，共18个班级。

1949年5月，上海解放；6月21日，上海市军管会任命杭苇同志为军代表到学校执行监督及办理接管事宜，左淑东、陈蕙瑛两位同志具体负责接管工作，成立了新的校务委员会，左淑东任主任，陈蕙瑛任副主任；改教务处为教导处，实行教导、教务分开；9月1日，市政教育处正式任命左淑东为校长，陈蕙瑛为副校长；学校初、高中均实行三年制，初中各收四班，高中各收二班，共18个班；在校学生809名，在校教职员52人，兼职教师2人。

1952年7月12日，改名为上海市第二女子中学。

1954年，经上海市人民政府批准为上海市首批重点中学。

1967年11月，改名为上海市第二中学，开始男女生兼收。

1978年1月，上海市第二中学经市教委办批准恢复为上海市重点中学，先后恢复了团委、少先队、工会、学生会组织，由上海市徐汇区教育局主管。

2005年9月，由上海市教委命名为上海市实验性示范性高中。

2015年8月，上海市第二中学梅陇校区正式建成；9月1日，上海市第二中学梅陇校区举行落成仪式暨首次开学典礼。

截至2022年9月，学校有特级教师、高级教师（含正高）50余人；局学科带头人、中青年骨干教师近20人；硕士研究生及以上70余人。

截至2020年12月，学校有一幢1933年由法国人设计建造具有典型现代派建筑风格的教学大楼，2007年8月被徐汇区文化局定为徐汇区登记的历史保护建筑不可移动文物。

截至2023年4月，学校建设了物理DIY创新实验室、工程与智能机器人工作室、生命科学实验室、化学探究实验室等。

截至2020年9月，学校为“一校三部”格局，高中部有徐汇本部（走读）和闵行梅陇（寄宿）两个校区；初中部在徐汇区。截至2020年12月，学校占地面积12161平方米（18.2亩），建筑面积12296平方米。截至2023年4月，学校永康校区三个年级共18个班级，闵行梅陇校区三个年级共14个班级。

2021年3月，学校学生在中国高中生物理创新竞赛CYPT中获三等奖6项；同年，学校学生入选第四届世界顶尖科学家论坛科学T大会；同年，学校学生获“汇乐之声 青春有我”2020-2021学年徐汇区中学生歌手大赛冠军以及徐汇区青少年百年红歌“云接力”红色领唱人荣誉称号。

2022年11月，学校武术队在上海市学生阳光体育大联赛在线团体武术操（中小学）比赛中获武术健身操《功夫青春》高中组二等奖；11月，学校学生获全国信息奥林匹克竞赛一等奖1项、第36届中国化学奥林匹克（初赛）二等奖1项；12月，学校学生展演的节目《乐队的夏天》获得上海市首批市级艺术一条龙布局项目高中学校社团展示展演评选活动二等奖。

2023年4月，学校学生在第38届上海市青少年科技创新大赛获得一等奖3项、二等奖2项、三等奖5项；4月，学校学生在上海市青少年柔道锦标赛中获得第三名；4月，学校学生在2023年徐汇区未来演说家大赛中获得一等奖、二等奖、三等奖各1项；5月，学校学生在第十二届上海市中小学生古典诗词创作活动中获高中组三等奖；5月，学校学生在2022年上海市中小学生射击锦标赛（激光射击）中获得高中组-男子激光精准射击（手枪）第三名；6月，学校学生在“2022-2023学年全国中小学信息技术创新与实践大赛”（人工智能赛道—AI天工造物项目）上海市选拔赛中获得一等奖1项、二等奖3项、三等奖4项；6月，学校学生在在第二十届上海市中学生时政大赛中获得三等奖1项；7月，学校学生在上海市第八届中学物理学术竞赛中获特等奖；8月，学校学生在第四届长三角青少年媒介素养文化创新大赛中获得报告·高中组一等奖1项，三等奖2项，视频·中学组二等奖2项，三等奖2项，1名同学获得“梦想少年”称号；8月，学校学生在上海交通大学第四届交大荣昶杯人工智能算法打榜赛中获得二等奖1项；11月，学校学生在第37届中国化学奥林匹克（初赛）中获得二等奖3项、三等奖2项。

2017年12月，学校周玲老师获上海市中青年教师教学评比活动二等奖。

2018年7月，学校唐敏、赵琦两位老师在第十一届全国基础英语素质教育实验基地学术交流研讨会上获一等奖。

2019年12月，学校张乐老师获2019年SSP杯英语教学大赛三等奖。

2021年11月，学校语文教研组在上海市中小学优秀作业练习案例征集评选中获得团队二等奖。

2022年，学校李志鹏老师执教的思政课《始终走在时代前列》被评为2022年教育部“基础教育精品课”。

2023年6月，在徐汇区教育系统青年教师“汇萃杯”教育教学论文评选中，学校教师单天颖的论文《信息技术赋能下主题班会的问卷运用策略》获二等奖，张乐的论文《双新背景下英语学习活动观在视听教学中的应用和实践——以上教版高中英语选必一Unit 3视频课为例》获三等奖；11月，在第十八届全国语文教师“四项全能”竞赛中，学校教师朱明坤在教学论文、教学方案、教学课件、下水作文四项教学评比中均获奖，获“四项全能教师”称号；姚琼、金禛浩在教学方案和教学论文评比中均获一等奖与三等奖。

1999年，学校与美国尼顿高中（Needham High School）建立姐妹学校关系。

2006年10月，学校和德国艾夏赫德意志骑士完全中学、艾夏赫维特斯巴赫实科中学建立姐妹学校。

2018年4月，学校迎接姐妹学校美国尼顿高中（Needham High School）的老师和同学们来访；7月，学校与英国奇泽赫斯特女子学校建立姐妹校。

2019年3月，学校迎接美国加州教育团来访，美国南加州安纳海姆学区的学区负责人与时任牛津学院副校长Ms.Bean、时任西部高中校长Ms.Kwon、时任萨万娜高中副校长Mr.Hernandez等来访学校；5月，学校与姐妹学校台北市立丽山高级中学共同对数学、物理和化学相关课题进行了研究与探讨；9月，学校学生赴姊妹学校美国波士顿Needham高中参访学习；10月23日，德国BBG文理中学来到上海市第二中学梅陇校区进行参观与教学活动。

学校校标和校徽图形一致，是一个圆形图案，外圆上面是校名、下面是英文表述，中间为上海市第二中学的标志建筑——务本楼，下面“1902”是上海市第二中学的创建年份，“5个人”象征五育和谐发展。两边由校园的植物紫藤花叶组成。

学校校旗为印有学校校徽、校名的白底深红色旗帜。

勤、朴、勇、诚，最早出现于1934年《上海市立务本女子中学概况》。

1、“勤”字取于“业精于勤而荒于嬉”，是“勤奋学习”之意。市二的勤，不仅是身勤，还要善勤，会思考、勤在点上，勤于为终身发展奠基。

2、“朴”字是指生活简朴，为人朴实。市二师生做事要“踏实务本”，做人要“纯真朴实”。

3、“勇”字就是要敢于挑战自我，走出家门求知报国。如今的寓意是市二人要有“顽强拼搏，敢为人先”的勇气，具备勇于探究、创新和实践的闯劲和能力。

4、“诚”字取于《礼记·中庸》“诚者天之道也，诚之者人之道也”，是人格的基础。“诚笃诚信”是市二人立身、处世的特征，做市二人当以诚信为本。

严谨 活泼 求实 进取

勤奋 刻苦 主动 创造

为人师表 勤于创造 严谨扎实 因材施教

每年10月第三周的星期六

学校校歌为1934年开始启用的《校歌》，作曲：胡周淑安，作词：俞长源。

截至2022年9月，学校有影视、机器人、文学、合唱、飞镖、篮球、排球等几十个社团；每学期开设30多门拓展课程供学生选择；学校影视剧团是上海市市级剧团，在各级各类影视表演中多次获得一等奖；学校文学社社刊《琉璃》是上海市优秀学生刊物，多次获评市一等奖；学校形成特色“梦”课程、“寻”课程、“节”课程几大系列人文实践课程；学校社团曾开展“请叫我投手”“谁是抢镜王”“K歌比拼”“国旗竞猜”“定点投球”等社团活动。

2023年12月，在2023年徐汇区中学生（明星）优秀社团评选中，电视台社、女篮社获明星社团，馨心社获优秀社团。