十九岁，进入郡庠，师从司训李进，学习《春秋》。

永乐二十一年（1423）举人，以祖母年事已高，不忍远出。三年后，参加会试，入南京国子监卒业，为国子祭酒四明陈公所器重。

宣德五年（1430），任昆山训导。不久，以父丧，解任。服除，调任宜兴。不久，以祖母丧，解任。

正统五年（1440），服阕，复任。选为郕王朱祁钰的伴读，精于经史，敷绎精详，诵说明白，尤善于讽谏，多所禆益。

正统十四年（1449），明景帝即位，擢鸿胪寺丞。兴济伯杨善掌管鸿胪寺，推荐俞山擢升鸿胪寺少卿。拜吏部右侍郎兼经筵讲官，转任左侍郎。明景帝曾欲进俞山为内阁，继欲升尚书，皆固辞。于是颁诰命，阶自嘉议大夫至资善大夫。

明景帝准备改立太子，俞山密疏进谏。不听。怀献太子立，加太子少傅，俞山意不自安，致仕而去。