新上院为一座中国古典主义样式的建筑，主体结构遵循苏联建筑风格，立面多以民族纹饰装饰。总平面呈工字型，面积为9746平方米。高五层，其中一二层为实验室，三层以上为教室，主楼后部有若干阶梯教室与活动室。 新上院于2004年被列为上海市优秀历史建筑。 2013年9月后，一层南面两间作为徐汇校区的社科阅览室使用，分东、西两个阅览室，面积约1139平方米。

新上院原址旧楼名上院，建成于1900年（清光绪二十六年），为英伦文艺复兴式风格的三层“山”字形楼房，顶部有座四方形钟楼，按时鸣钟，声闻数里。底楼中央是可以容纳500人的大礼堂，1926年为纪念老校长唐文治而命名为文治堂。落成之初，南洋公学特班、政治班、商务部等在此授课，后长期用作大学教学、实验、住宿及办公用房。1912年底，孙中山莅临本校，在上院大礼堂发表演说，勉励师生为发展实业、振兴中华而服务。严复、陈独秀、郭沫若、黄炎培、章太炎、恽代英、胡汉民等各界人士，都来此发表过演讲。1954年，上院因屋架墙壁倾斜严重而被拆除。在原址重建钢筋混凝土结构四层楼房，建筑总面积9746平方米，更名为新上院，是学校的主要教学楼之一。