桓虞为东汉章帝时官员，早期任尚书仆射，能够依法断事，细密公正，后来担任南阳太守。桓虞曾征召前临淮太守朱晖之子朱骈为郡吏，但朱晖却宁愿放弃自己儿子的仕途，而推荐亡友陈揖之子陈友，桓虞对于朱晖的情义相当叹服。

建初四年五月甲戌（79年7月6日）桓虞被任命为司徒。元和二年，武威太守孟云上书汉章帝，奏称匈奴指控汉室不遵和约，于边境抄掠匈奴民众，因此要求汉室归还虏获，否则将会起兵入侵。当时朝中大臣都认为夷狄狡诈，不必答允，太仆袁安则主张匈奴和亲以来，都信守和约，所得虏获都会归还，而孟云作为守边大将，亦应该信守承诺，故此应将虏获遣还匈奴，以显中原之宽大。桓虞对于袁安的说法亦表示赞同。可是当时太尉郑弘、司空第五伦都大力反对，郑弘更向桓虞大叫：“所有主张要把虏获归还匈奴的，都是不忠之辈！”桓虞亦因而当廷喝叱郑弘、第五伦及大鸿胪韦彪等人。结果，汉章帝决定依从袁安的建议，将虏获归还予匈奴。章和元年六月戊辰（87年7月18日）桓虞转任光禄勋，由袁安接任司徒之职。永和二年（90年），由耿秉接任光禄勋之职。后来，没有记载。