卢是出身于书香之家。父卢章知书善画，卢善群幼受庭训，获益良多。

1925年起在家乡读小学。1931年在广东平远县立中学中学读书。

1934年中学毕业后在家乡小学当美术教师，曾拜师学习照相并兼习书画。

1936年考入杭州国立艺专西画系，同时兼学中国画，师从林风眠、吕凤子、潘天寿、王子云等。

1938年1月参加杭州国立艺专“抗敌宣传队”。同年冬随艺专本部辗转迁徙至沅陵、贵阳、昆明及贵县安江村等地。

1940年春迁四川壁山，翌年再迁至重庆青木关松林岗，并入由北平艺专与杭州艺专合组的重庆国立艺专。

1942年 7月经雷震介绍参加教育部艺术文物考察团，任绘画、摄影等工作。同月赴敦煌临摹壁画，为中国最早进入敦煌进行艺术文物考察、具有政府行为的考察者。期间曾一度独自代表考察团在敦煌考察，备受艰辛。与中 央研究院向达及张大千等人朝夕相处，过从甚密。同年跟随王子云先生赴敦煌考察临摹了一批敦煌壁画，在重庆首次展出，将敦煌艺术介绍给人民并学习敦煌艺术进行创新取得很好成绩。”他的“逝世使美术界失去了一位优秀的美术教育家和新美术创作者。”