1938年3月，王志胜参加了共产党领导的人民抗日义勇队。10月，返回枣庄建立了抗日情报站，王志胜任副站长。

1939年秋，王志胜和洪振海第一次血洗洋行，杀死日本特务2人，杀伤1人，夺取长短枪各一支，震慑了敌人。10月，他和洪振海经过周密计划，又在临枣铁路线上，“飞车”袭击日军，搞到两挺机枪、12支步枪和两箱子弹及时运到苏鲁支队。1939年10月，王志胜加入中国共产党。

1940年1月，鲁南铁道队在陈庄诞生，王志胜任副大队长。同年秋，活动在临城南北两支铁道队奉命编入鲁南铁道大队，王志胜仍任副大队长。这期间，王志胜率队“飞车”搞机枪，打票车，截货车，扒铁路，断通信，炸桥梁，奇袭敌兵营，英勇果敢屡屡得胜。

自1942年至1943年，王志胜还先后参与护送刘少奇、陈毅、肖华、朱瑞、陈光等党政军领导人往返延安。1943年春，鲁南铁道大队编为鲁南独立支队二大队。翌年秋又恢复铁道大队番号，王志胜仍任副大队长。