1947年夏，根据中共中央香港分局关于发展华南武装斗争的指示，在粤汉铁路（广州—武昌）以西的广东西江以北、广西桂林以东、湖南桂阳以南地区，以1945年5月进入西江北岸的广东人民抗日游击队珠江纵队第2支队、独立第3大队一部以及小北江、桂东等地的人民武装为基础，先后建立西江人民义勇队（辖4个边区队）、粤桂湘边人民解放军（共4个挺进队）等多支人民武装。1948年2月，经中共中央香港分局批准，成立中共粤桂湘边区军委及其领导下的连江支队、绥贺支队和桂东独立团。9月，成立粤桂湘边人民解放军指挥部及2个直属主力团。至此，部队发展至3200余人，活动范围扩大至粤桂湘边20余县广大地区。经中共中央批准，1949年7月23日，中国人民解放军粤桂湘边纵队成立，梁嘉任司令员兼政治委员，王炎光任政治部主任，林锋为司令部负责人。下辖连江、绥贺支队和直属独立团（支队级）等，共13个团、5个大队。此后，接收国民党军起义人员组成暂编第2、第3团，全纵队达1万余人。粤桂湘边人民解放军自组建以来，共作战460余次，歼灭国民党军4400余人，争取国民党军起义500余人，解放湖南省临武，广西省怀集，广东省广宁、德庆、开建等县城。10月，配合南下的人民解放军第四野战军和第二野战军一部解放了边区全境。11月，粤桂湘边纵队及所属部队分别整编为广东军区第5（西江）、第4（北江）军分区部队。