乾隆五十三年，以兵部侍郎出任江南乡试主考官。同年又以兵部侍郎出任江南学政。

乾隆五十四年，胡高望提督江苏学政。乾隆五十五年，授兵部右侍郎。乾隆六十年，调胡高望充任吏部右侍郎。

嘉庆元年，胡高望充经筵讲官，上书房行走。转任吏部左侍郎。嘉庆二年，授都察院左都御史。卒于清嘉庆三年（1798），享年68岁。嘉庆六年，奉旨将胡高望入祀乡贤祠。

据传，胡高望爱惜人才，视如性命。曾有阳湖人李兆洛，幼年聪颖，成童，应县试。县令见他年龄最小，却最先交卷；怀疑而把他叫来诘问，不料他对答如流。县令故意不让他参加复试。当时，胡高望闻知，立即手书一副对联相赠：“他日定成名进士，乃翁真有好儿郎。”后来应试时，适逢胡高望提督学政，非但将李兆洛试卷取为第一，而且将其两场考试的试卷刻版印发给在学的生员人手一册，对他们说：“回去好好读熟，不要小看李兆洛新进，我主持科举考试走遍半个天下，还没见到像李兆洛这样有才的人。”

据说胡高望文字功夫很高，尤其是训诂方面的功夫十分了得。有一则故事是跟训诂有关的，非常有趣：

在照相术没有普遍流行之前，从前的考试还循例要填面貌册。填面貌册就不能跟照相一样准确。什么面黑、面白，哪里有什么标准？也不过虚应故事罢了，因此常发生笑话。有一则就发生在胡高望身上。胡高望在江苏任考官，他对考生的面貌非常认真，怕有冒名顶替的。有个常熟生员叫沈廷辉，他填有“微须”字样。后来听说胡先生一向训“微”为“无”的，这是按照“微管仲吾其被发左衽矣”，朱注：微，无也。沈生一想，只有入场头一天，把那胡须剃掉。哪知有个学书和沈相识，早在册上改“微”为“有”了。唱名时，胡高望见了沈廷辉，说：“这又是个假冒的！册上有须，何以无须？”可怜的沈廷辉就这样被斥了。接着又有一生，为着“微须”二字跟胡辩论起来。胡骂他连“微，无也”都不懂，但那考生反问胡：“孔子微服过宋，是不是脱得精光的呢？”弄得胡无词可答，只得让他照考。这位胡高望先生咬文嚼字，固属可厌，然而面貌册的办法，究竟不妥。早些年摄影的技巧不甚精工，达到用照相的办法，还曾发现过许多毛病的。