明洪武二十六年(1393年)举人。

永乐初年(1403年)，任奉化教谕。永乐六年（1408），召入参与编修《永乐大典》，升任吏科给事中。

永乐八年（1410），丁忧。永乐十年（1412），守孝期满赴选，拟任广东右布政使，皇帝特命留任旧职，主管六科事。

永乐十一年（1413），偕张瑛给皇太孙朱瞻基教授经书。

永乐二十二年（1424），明仁宗继位，任左春坊左庶子。有一天陈山退朝，坠马小腿负伤，明仁宗亲自给陈山研药调酒。

洪熙元年(1425年)六月，明宣宗即位。十月，任户部左侍郎。

宣德元年(1426年)八月，汉王朱高熙叛乱，明宣宗亲自征讨，陈山和襄、郑二王一同留守京都。大军凯旋，陈山建议明宣宗乘胜移师彰德，袭执赵王朱高燧，则朝廷永宁可无萧墙虞。明宣宗召见杨荣，以陈山言谕之，杨荣说：“陈山之言，国之大计，请先勑责赵王，诘其与朱高煦连谋六师。奄至，可不旋踵而擒也。”杨士奇、杨溥执不可，明宣宗悟其非，于是不再重用陈山。