1876年冬，黄建勋作为福州船政第一批留学生出洋留学。1877年春，先抵法国，又转赴英国学习化学、力学等科。是年年底，上英国铁甲舰“伯乐罗芬”号实习，任见习二副，1879年，“伯乐罗芬”号舰长阿武里对黄建勋的实习成绩甚为赞许，并发给“学行优美”证书。实习结束后，黄建勋继续留在英国深造，研习枪炮攻守战术。1880年4月，学成归国，充任福州船政学堂驾驶教习。

1881年，黄建勋因教练学生有功，补守备，加都司衔。同年7月，李鸿章搜罗海军人才，闻黄建勋学有专长，便调至北洋，充任大沽水雷营管带。1882年3月，奉命署理“镇西”炮舰管带。不久，朝鲜内乱，日本趁机干涉，丁汝昌率舰护送吴长庆部东渡援朝，黄建勋被实授“镇西”管带，随对赴朝。事平后，以功保升都司，赏戴花翎。1887年4月，调任“超勇”快船管带。1889年，海军衙门成立，设左翼右营参将，以黄建勋署理。1891年，李鸿章巡阅北洋水师，黄建勋因训练有功，加副将衔。