卢柔字子刚。从小失去父母，为叔母抚养，叔母待他比自己儿子还亲。卢柔尽心侍奉，也同亲生儿子一样。族人赞叹而敬重他。卢柔聪明机敏，不到二十岁就能写文章，只是口吃，不能说出主张。又常常纵酒放诞，被世人所讥讽。司徒、临淮王元彧看见后很器重他，把自己女儿嫁给卢柔。

后来魏孝武帝与高欢结下怨仇，诏命贺拔胜出任荆州牧，卢柔认为由此可建功立业，就随从贺拔胜赴荆州。卢柔被任命为大行台郎中，掌管文书。军中的机要政务，卢柔大多参预。贺拔胜任太保后，任命卢柔为掾官，加冠军将军衔。后来，魏孝武帝征调贺拔胜领兵赴洛阳，贺拔胜拿此事问卢柔。卢柔说：“高欢仗恃晋阳的兵甲，心意难测。您应当率领全部兵力前往京师，同他决一胜负，生死由此而定，这是出于忠心的上策。如果向北阻断鲁阳，向南兼并旧楚之地，向东连接兖州、豫州，向西连接关中，拥带甲之兵十万，坐观时变，待机而动，也算得是中策。以三荆之地，向梁国表示归顺，可以免祸，但丢掉功名。这是下策。”贺拔胜看不起卢柔年少，笑而不答。