举人出身，历官金华训导、上虞教谕，皆以能教闻名。

宣德年间，升任礼部给事中。此时，庆寿寺僧人觉贵修建毗卢阁高出数十尺，虞祥认为寺庙靠近皇城，不合规制。虞祥上疏论其罪，明宣宗大怒，命毁阁，将觉贵打入大牢。

正统元年（1436），升任通政司左参议，敷奏详明。

正统八年（1443），升任户部右侍郎。历任兵部右侍郎。命巡抚畿内民瘼，所至革除贪酷，存问疾苦，人用以宁。病逝于任上。