不久，成都王司马颖和河间王司马颙起兵共同攻打长沙王司马乂，用讨伐后父尚书仆射（官职名，简单说就是尚书省的副手，尚书仆射仅此于尚书令）羊玄之和皇甫商为名义。司马乂任命皇甫商为左将军、河东太守，率领万余人在关门抵御张方，却被张方击破，这样一来司马颙的军队就攻了进去。司马乂多次战败，就想让皇甫商带着皇帝的手诏，让金城太守游楷等人都罢兵，同时命令皇甫重进军讨伐司马颙。皇甫商一行人经过长安，到了新平，遇到了他的从甥（堂姐妹的儿子）。他的从甥向来讨厌皇甫商，就向司马颙告密。就这样司马颙抓到了皇甫商，并将其杀害。司马乂兵败后，皇甫重仍然坚守，他闭塞了外城门，城里面都不知道（兵败的消息）。四郡的兵马筑起土山来攻城，皇甫重就用连弩来射杀他们。并在城里挖地窟以防止外面的地道攻入，像这样随机应变的计谋百般变化，使外面的军队不能靠近城池，城里的将士为之死战。司马颙知道不能硬撼拔城，就上表请求皇帝派遣御史宣诏命令他投降。皇甫重知道这不是朝廷的本意，不领旨奉诏。皇甫重得到机会向给御史驾车的人问说：“我的弟弟带领兵马前来，快到没？”驾车的人说：“他已经被河间王杀害了。”皇甫重大惊失色，马上杀了驾车的人。但消息还是走漏了，城里面知道已经没有了外援，就一起杀了皇甫重投降。先前，皇甫重被围困危急的时候，他派养子皇甫昌求救于东海王司马越，司马越因为司马颙新近废除了成都王司马颖，与崤山以东地区联系和解，不肯出兵。皇甫昌就与以前为殿中人的杨篇一起，伪称奉司马越的旨意，从金墉城迎出羊皇后。进入皇宫后，用皇后的命令发兵讨伐张方，尊奉迎接皇帝大驾。事情来得仓猝，朝廷各部门官员开始都跟随皇甫昌，不久知道是伪令，就一起杀了皇甫昌。