连柏生，1908生于上海南汇县祝桥乡的一户农民家庭。父亲早逝，由母亲带领家人耕种田地并从事编织花边等副业生产，以维持温饱。连柏生先在私塾读书，后转入祝桥毓秀小学至高小毕业。在校学习成绩优异，尤其以英语突出，故考入上海邮务海关学院。海关学校毕业后，进入一个私立大学，但因经济困难而退学回家。先后在凉亭、陈桥等小学教书，到上海市洋泾中学图书馆工作。这期间受北伐战争和进步教师的影响，参加了国民党。

1937年上海沦陷后，参加抗日救亡宣传活动，组建地方抗日武装。历任国民党南汇县第二区区长，南汇县保卫团第四中队中队长，南汇县抗日自卫总团第二大队大队长，第三战区淞沪游击队第五支队支队长等职。1941年，中共中央根据斗争形势的变化，决定开辟沪杭甬三角地区，并指示中共中央华中局增派干部，开展浙闽沿海游击战争。中共江南区党委据此指示中共路南特委组织力量，向浙东敌后发展。连柏生领导的“五支队”根据党的指示，分期分批由浦东向浙东转移。1942年6月，连柏生率领“五支一大”随谭启龙、顾德欢等南渡至浙东。同月，中共华中局决定由谭启龙、何克希、杨思一、顾德欢组成中共浙东区党委，以谭启龙为书记。不久，成立司令部。为了继续贯彻“灰色隐蔽”的方针，仍沿用“第三战区淞沪纵队三北游击司令部”的名字，以何克希为司令，连柏生为副司令，兼第五支队长。三北游击司令部成立后，将从浦东南渡到浙东的部队以及三北、四明的两支游击队统一整编为第三、第四、第五3个支队和2个直属中队，计1200余人，战斗在浙东大地上，浙东抗日形势明显好转，抗日革命根据地建设也有所进展。革命形势的发展，引起国民党顽固派的仇视，国民党浙江省保安司令宣铁吾在天台成立“前进绥靖指挥部”，拼凑驻浙的各路顽军3000多人，不顾抗日大义，向游击队发起进攻，妄图趁游击队立足未稳之际，内天这支抗日革命武装。由于我军到浙东不久，部队也刚整编好，敌人是我军的3倍，因此形势对我军很不利，连柏生审时度势，敏锐地发现，四路敌军中，除艾庆璋极端顽固，顾小丁、孙运达、魏显庭都是浦东人，都有不同程度的民族意识，遂说服顾、孙、魏3人不打内战共同抗日，从而孤立和打击艾庆璋。