1887年于天津水师学堂第二届驾驶班毕业。后入北洋水师，1893年5月任“靖远”舰船械三副，1894年，中日甲午战争爆发，郑祖彝随“靖远”舰参加黄海海战，在海战中英勇搏杀，在与日舰交战中郑祖彝脸部被炸伤。清廷重建海军后，郑祖彝于1910年出任“海圻”巡洋舰帮带，12月调任海军巡洋舰队一等参谋官，简授海军副参领。民国建立，1912年9月7日郑祖彝任海军部视察，12月30日授海军上校。1913年5月16日出任烟台海军学校校长，次年兼任教务长。1914年5月25日给予四等文虎章，7月5日晋升海军少将。1915年2月25日代理（10月5日任）吴淞海军学校校长。1916年元旦晋给三等文虎章。1917年元旦给予四等嘉禾章。1918年1月7日晋给三等嘉禾章，10月19日晋给二等文虎章。1920年元旦给予四等宝光嘉禾章，5月10日去职。