嘉靖七年（1528）举人，嘉靖八年（1529）进士，任仁和县知县。次年，黄正色的继母和父亲先后去世，丁忧归家。服阙，历任香山县、南海县知县。座师霍韬的家人横行乡里，黄正色绳之以法。霍韬认为他是贤才，豪强屏迹，县中大治。

嘉靖十七年（1538），召为南京监察御史，弹劾兵部尚书张瓒贪婪，事甚有迹。而中有“历官藩臬，无一善状”语，张瓒辩解自己未任藩臬。明世宗认为是黄正色诬陷他，夺俸两月。

嘉靖十八年（1539），章圣太后梓宫南葬，命黄正色护视。事情完毕后，黄正色弹劾中官鲍忠、驸马都尉崔元、礼部尚书温仁和所过收受馈赠。明世宗召见，并诘问鲍忠等人。三人皆叩头祈哀，于是诬陷黄正色擅自于梓宫前乘马执扇，到长江遇险后又不随舟督护，大不敬。明世宗于是发怒，立即将黄正色打入诏狱搒掠，贬戍辽东沈阳卫。黄正色在戍所三十年，十分穷困。