因晋王杨广是隋文帝的爱子，谋划废立太子杨勇。又私下里对杨勇说：“卢贲想拜谒殿下，又怕陛下谴责，请明白我的区区之心。”计谋泄露，隋文帝穷追此事。刘昉等人把罪过全推在张宾、卢贲身上。大臣们上疏要处死这两个人。隋文帝因他们是创业登基前的朋友，不忍心杀他们，把他们都削职为民。张宾不久就死了。

一年多后，卢贲恢复爵位，任检校太常卿。卢贲因古乐宫悬七八，损益不同，历代的通儒，又没个一致的说法，于是上表说：“殷商人以前，通行用五音。周武王灭商，得到鹑火、天驷之应，其音于是用七种。汉代，又加上应钟，所以十六枚而在一虡。郑玄注《周礼》，以二八十六为虡。这样，那么七音和八音的意义，由来很久远了啊。但世有沿革，取舍不同。北周武帝时，又改为用七音，以林钟为宫。那音乐，是治天下的根本，所以移风易俗，没有比音乐更好的。因此吴国公子季札观乐而辨别兴亡。那么，音乐是动天地、感鬼神的。情发于心中，变为声音，治乱就会相应表现出来。北周武帝以林钟为宫，大概是周代将亡的征兆。而且林钟是黄钟派生的。黄钟是君，而在臣之下，明明是大隋得天下的征兆。又，阴是臣，而居君位，更显出我大隋皇帝登基的吉祥。这实在是冥冥之中的事与人事相符，与一般的人事无关。伏请陛下治理天下，道逾前王，功成作乐，比以前更加灿烂。我听说，五帝不相沿袭音乐，三王不相沿袭礼仪，这大概是因为要随时改制，而不失雅正之道。”

隋文帝最后听了他的，就改七音为八音，以黄钟为宫。有诏令卢贲与仪同杨庆和删定北周、北齐音律。

不久，授卢贲为郢州刺史，继而转任虢州刺史。后任怀州刺史，挖沁水东流，名叫“利民渠”。又流入温县，名叫“温润渠”，以灌溉盐碱地，百姓靠渠得利。几年后，转任齐州刺史。百姓闹饥荒，粮价猛涨。卢贲不让别人卖粮，但自己却去卖，因此被削职为民。后来，卢贲随隋文帝到东都洛阳。隋文帝闲谈时对卢贲说：“我刚当大司马的时候，你对我推心置腹。我当左丞相后，你常在我身边。我与你可以说是老朋友了。你若没有过错，地位当与高颎相同。因你叛逆交好，因此废黜了你。但我念你往日的交情，又恢复你当州牧的地位。你怎么不思报效，到了这种地步？我不忍心杀你，这是枉法行私罢了。”卢贲拜伏谢罪，有诏恢复原职。

几天后，与隋文帝交谈时，有违隋文帝旨意。自叙功绩，口出怨言。隋文帝大怒，对群臣们说：“我将给卢贲一个州，我看他不能再重用了！”后来，太子杨勇说：“这些人都有佐命开国之功，虽然品性轻薄，但的确不能抛弃他们。”隋文帝说：“我抑屈了他，是想保他的性命。没有刘昉、郑译、卢贲、柳裘、皇甫绩等人，那么我就不会到如此地位。但这些人都是反复无常的家伙。北周宣帝时，凭着无赖而得宠。北周宣帝病重时，颜之仪等人请求用宗室王爷辅政，这些人行诈，北周宣帝让我辅政。我想大治天下，他们又想捣乱。所以刘昉谋反于前，郑译为巫惑于后。像卢贲这些家伙，心里总是不满的。用他们吧，他们又不谦逊；不用吧，又会招来他们的怨恨。是他们难得让人信任，不是我抛弃他们。众人见了这些，也许有人私下议论，说我对不起功臣，其实不然。”

苏威进言说：“汉光武帝欲保全功臣，都用列侯之位而让他们入朝。陛下仁爱，再用此法来安顿他们吧。”隋文帝说：“行。”于是废卢贲于家。卢贲这年去世，时年五十四岁。

《隋书·列传第三》《北史·列传第十八》有记载。

隋文帝杨坚：“我始为大司马时，卿以布腹心于我。及总百揆，频繁左右，与卿足为恩旧。卿若无过者，位与高颎齐。坐与凶人交构，由是废黜。言念畴昔之恩，复当牧伯之位，何乃不思报效，以至于此！”“此辈并有佐命之功，虽性行轻险，诚不可弃。”“我抑屈之，全其命也。微刘昉、郑译及贲、柳裘、皇甫绩等，则我不至此。然此等皆反覆子也。当周宣帝时，以无赖得幸，及帝大渐，颜之仪等请以宗王辅政，此辈行诈，顾命于我。我将为治，又欲乱之。故刘昉谋大逆于前，郑译为巫蛊于后。如贲之徒，皆不满志。任之则不逊，致之则怨，自难信也，非我弃之。众人见此，或有窃议，谓我薄于功臣，斯不然矣。”

《隋书》：“高祖肇基王业，昉、译实启其谋。当轴执钧，物无异论。不能忘身急病，以义断恩，方乃虑难求全，偷安怀禄。暨夫帝迁明德，义非简在，盐梅之寄，自有攸归。言追昔款，内怀觖望，耻居吴汉、耿兖之末，羞与周勃、灌婴为伍。事君尽礼，既阙于宿心，不爱其亲，遽彰于物议。其在周也，靡忠贞之节；其奉隋也，愧竭命之诚。非义掩其前功，畜怨兴其后衅，而望不陷刑辟，保贵全生，难矣。柳裘、皇甫绩、卢贲，因人成事，协规不二，大运光启，莫参枢要。斯固在人欲其悦己，在我欲其骂人，理自然也。”

《北史》：“卢贲二三其德，虽取悦于报己，而移之在我，亦安能其骂人。”

祖父：卢静，太常丞，赠太仆卿、平州刺史。

父亲：卢光，北周开府仪同三司、燕郡公。