内蒙古托克托县河口镇以上的黄河河段为黄河上游。上游河段全长3472千米，流域面积38.6万平方千米，流域面积占全黄河总量的51.3%。上游河段总落差3496米，平均比降为10‰；河段汇入的较大支流（流域面积1000平方千米以上）43条，径流量占全河的54%；上游河段年来沙量只占全河年来沙量的8%，水多沙少，是黄河的清水来源。上游河道受阿尼玛卿山、西倾山、青海南山的控制而呈S形弯曲。黄河上游根据河道特性的不同，又可分为河源段、峡谷段和冲积平原三部分。

从青海卡日曲至青海贵德龙羊峡以上部分为河源段。河源段从卡日曲始，经星宿海、扎陵湖、鄂陵湖到玛多，绕过阿尼玛卿山和西倾山，穿过龙羊峡到达青海贵德。该段河流大部分流经于三四千米的高原上，河流曲折迂回，两岸多为湖泊、沼泽、草滩，水质较清，水流稳定，产水量大。河段内有扎陵湖、鄂陵湖，两湖海拔高程都在4260米以上，蓄水量分别为47亿立方米和108亿立方米，为中国最大的高原淡水湖。青海玛多至甘肃玛曲区间，黄河流经巴颜喀拉山与阿尼玛卿山之间的古盆地和低山丘陵，大部分河段河谷宽阔，间或有几段峡谷。甘肃玛曲至青海贵德龙羊峡区间，黄河流经高山峡谷，水流湍急，水力资源丰富。发源于四川岷山的支流白河、黑河在该段内汇入黄河。