至元四年（1338），迁徙至巢县。

至正十二年（1352），俞廷玉率军追随李普胜。

至正十四年（1354），俞廷玉与子俞通海、俞通源、俞通渊泊舟巢湖，联合廖永安等建立水寨防御外敌，左君弼据庐州，屡次出兵进逼，诸将郁郁不得志。

至正十五年（1355）春，朱元璋驻军和州，俞廷玉修书归顺，备述左君弼阻断之故。不久，朱元璋亲至巢湖救援，而元中丞蛮子海牙拥兵阻河口，赵普胜屯黄墩，俞廷玉倾心共谋，委身翼卫，击退元兵。俞廷玉在裕溪河、鲚鱼洲等地攻寨有功，授万户。俞廷玉扈从渡江，拔采石，取太平府，擢管军总管，攻边湖、水阳，克花圩、溧阳、顾城湖民寨、太平河、三汊口。

至正十六年（1356），纵火焚败中丞水寨，破陈兆先陆寨。三月，定台城，克镇江，升元帅。取丹阳。