韦彪十分孝顺，父母去世，伤心地守丧三年，不出草棚子的门。服丧期满，瘦得都变了样子，治疗了好几年才好。韦彪喜欢学问，见识广博，被称为儒学宗师。建武末年，韦彪被推举为孝廉，官拜郎中，后因病免官，又回乡教授学生。韦彪安贫乐道，淡泊功名，三辅地区的儒士无不敬仰他。

汉明帝刘庄听到韦彪的名气后，于永平六年（63年），召见并任命他为谒者，赐给他车马衣服，多次升迁后任魏郡太守。汉章帝刘炟继位，韦彪因病免官。受召担任左中郎将、长乐卫尉，多次提出治政建议，常以宽厚为宗旨。等到上书请求告老回乡时，汉章帝任命他为奉车都尉，官阶为中二千石，受赏赐受宠幸，如同皇帝的亲戚一样。

当时议论政事的人有很多说各州郡封国推荐的人都不是依据功勋门第，所以太守不努力尽忠职守而政事渐渐荒疏，过错在于州郡。汉章帝命令把此事交朝廷大臣们商议。韦彪呈上建议说：“皇上的诏书，替百姓担忧，施恩选举，力求得到真正的人才。国家把选拔贤才作为紧要任务，贤才应以孝顺的行为为最重要。孔子说：‘伺候父母亲孝顺的人可以把这种孝顺转变成对国君的忠诚，因此寻找忠臣一定要到有孝子的人家。’大多人才能和品行少有能兼备的，因此孟公绰可以胜任赵、魏的家臣，却不能让他做滕、薛小国的大夫。忠孝的人，心地厚道；老练的官吏，心地刻薄。三代的官吏能正直的处事的原因，就在于有能使他们得到磨炼的办法。选拔官吏应当以才能品行为要素，不能单纯以功勋门第论。但选官吏最主要的，在于选太守。太守贤明，那么选举就能选拔到合适人才了。”汉章帝得深深接受了他的意见。