胡琼任职慈溪之前，当地官吏豪强仗势胡作非为，驱赶县令。胡琼在职，为官清廉正直，以身作则，感动了民众，地方权贵无法刁难，反而颂扬其德政。他在慈溪任职三年，民心安定，政绩显著，朝廷召他考授，拟任山西道监察御史，一个月后，他因病返故里，居南平东溪岸山麓，与志同道合的友人相邀讲学。病愈后，胡琼被任命为贵州巡按。因当地民族杂居，风俗各异，治理困难，胡琼到任后，清除恶劣的罪犯，拆除滥建的祠庙，兴办学校，推崇德高望重的历代名人和乡贤功绩，教育后人。当时部分苗民不知真情，从中挑拨闹事，胡琼按情节轻重逮捕为首者，平息动乱。为控制边境局势，他奏请设兵扎营云南各关隘。胡琼为人刚直，敢于发表自己善意言词，曾向朝廷揭露内官王闫贪赃枉法和总兵昌佐违法，且评议各司里正。人们称赞他是个才能出众的官员。