胡家玉于光绪五年（1879）补为通政司参议。次年因病离职，后卒于南昌寄庐。

清政府镇压太平天国运动后，财政拮据，胡家玉为清廷寻求理财之策，得到同治帝赞许。清中叶以来江西钱漕积弊深重，官绅对立，胡家玉和江西巡抚刘坤一“反复较论”，先受降级使用处分。后又以举人徐景春试卷磨勘一案，再受降五级调用处分。刘坤一也以“借端报复”、“挟私攻讦”降三级调用。

同治元年，胡家玉在方略馆效力，办理档案。恩赏四品官衔。同治二年，授任鸿胪寺少卿。胡家玉曾上疏筑堤固本护田，防止黄河河道往北迁徙。以后，胡家玉历任通政司副使，光禄寺卿。同治三年，胡家玉授太常寺卿，典四川乡试。又充任大理寺卿。同治四年，奉密旨，胡家玉查办湖南巡抚恽世临升职而原巡抚毛鸿宾被参各项事情。他查明复旨、上奏，将恽世临降级。回京后，再任军机章京。同治五年，胡家玉升左副都御史，在军机大臣上学习行走。不久，又升兵部左侍郎。他曾上疏用直隶京外之兵，不如操练京内旗兵建神武营。此后，曾国荃弹劾胡家玉收贿，经查，以不知避而部议革职留任，免军机行走。同治六年，胡家玉捐赈米四百石，复职，兼署刑部左侍郎，右侍郎。在此期间，胡家玉再次上疏请分段挑掘旧黄灌河。同治九年，他上奏请裁掉江西地丁浮加征银。同治十年，他补任吏部左侍郎，出任稽查京通十七仓大臣。胡家玉上疏条陈挽救艰难时局四件事。他出任贵州学政，复任兵部左侍郎。同治十一年，授胡家玉左都御史、经筵讲官。同治十二年，从左都御史出任顺天乡试副考官。同年，胡家玉再次奏请裁掉江西地丁浮加征银。新章定每两征银加四钱耗银。无形中浮收七十万余两。违背永不加赋税的祖传定制。各省已有定额，违例则民间受害。同治帝采纳他的意见，谕令速为禁止，不准丝毫浮收。如查有私立捐款、公费名目额外加征者，严行参办。江西巡抚刘坤一奏请仍加丁漕以抵漕运规定节寿礼月费各陋规。虽然胡家玉反复据理力争，力陈其弊，经部议还是增加丁漕，每两加二百文。胡家玉还受到刘坤一参劾，参奏他“写信干予漕丁改昌事务，而胡家玉本籍未交完钱粮”。胡家玉被降二级调用。又因胡家玉出任顺天乡试副考官，磨勘有误，降二级。刘坤一又参奏“胡家玉及弟侄历年有未纳完钱粮”。同时，给事中边宝泉也上疏参劾刘坤一：既然胡家玉“累次未完粮，刘坤一置多年不问。且胡家玉干予也应立刻上奏，何必等胡家玉提出加征违制才追究，实属徇私报复。”因此，刘坤一与胡家玉都被革职。胡家玉加恩改为降五级调用，不久以五品京堂候补。