1877年入陆士旧3期。1879年12月22日授予陆军少尉军衔。历任陆士教官，工兵第5大队长，参谋本部副官兼陆军大学教官。甲午中日战争任第1军参谋，第1军参谋副长。参谋本部第四部长，参谋本部第三部长兼第五部长，海牙和平会议随员。1900年7月11日晋升陆军少将。陆军炮工学校校长兼参谋本部第3部长，工兵监，日俄战争任第4军参谋长，辅佐丈人野津道贯大将。战后再次任工兵监。1907年9月21日因日俄战争战功授封男爵。

后历任第7师团长，第14师团长，陆相。1912年年底陆军增加驻朝鲜的两个师团的提案为内阁否决后，受参谋总长长谷川好道指使，向天皇提出辞职，并不指定后继人，从而搞垮了第二次西园寺公望内阁（“军阀毒杀内阁”）。后任第3师团长，教育总监。1915年2月15日晋升陆军大将，同时兼任军事参议官。1915年12月17日任陆军参谋总长。1918年8月在一战中派遣日军出兵占领苏联的西伯利亚。1919年在他的主张下，关东都督府被撤销，实行军政分离，成立了关东厅与关东军（首任军长为立花小一郎）。1921年4月18日升子爵，4月27日名列元帅府，成为元帅陆军大将，此后一直到去世始终在陆军中保持着巨大的影响。1923年3月17日参谋总长辞职。次年5月10日改任议定官。1933年11月8日死亡，追授大勋位菊花大绶章。曾获一级金鵄勋章。女婿内务省官吏大冢惟精，实业家大林义雄，官吏小泽凯夫。上原是工兵出身，号称“日本工兵之父”。他陆军三长官（陆相、陆军参谋总长和陆军教育总监）当遍，是继大山岩之后萨摩派的领袖。自山县，寺内死后，长州派逐渐没落。上原自己组织了个“上原派”，与长州的田中义一激烈对抗。田中的后继人宇垣一成推行陆军近代化，实行军缩。上原派激烈反对。这两个派别的对立成为后来皇道派与统制派争斗的根源。