胡翰自幼聪颖，异于常人。七岁时，胡翰路上拾到遗金，坐在那里等待，直到还给失主才离开。胡翰长大后，跟随吴师道、吴莱学习古文，又师从许谦。同郡人黄溍、柳贯以文章闻名天下，见胡翰的文章，赞不绝口。胡翰游元大都，公卿纷纷赞誉。胡翰与余阙、贡师泰尤其友善。有人劝他出仕，胡翰没有答应。胡翰归乡后，天下大乱，胡翰隐居南华山，著书为乐。胡翰的文章与宋濂、王祎不相上下。

明太祖攻克金华，召见胡翰，命胡翰与许元等会食中书省。后来，侍臣向明太祖推荐胡翰，胡翰被召至金陵（今江苏南京）。当时刚刚将金华百姓编为士兵，胡翰从容进言说：“金华人多以儒学为业，很少操演军事，编为士兵，浪费军饷而已。”明太祖于是作罢。授衢州教授。

洪武八年（1375），胡翰被征召编修《元史》，撰写元英宗、元睿宗实录及拜住丞相等列传。书成，胡翰受赐归乡。胡翰爱北山泉石，定居其下，徜徉十余年而终。