1935年毕业于上海美术专科学校。擅长绘画、篆刻，尤精于木刻。同年在上海加入中国共产党。入党后即从事地下工作，以木刻作品为武器，开展对敌斗争。曾因雕刻马克思像，被国民党反动派捕去关押。1935年木刻《母亲》参加在北平举行的第一回全国木刻联合展览会。“一二.九”运动爆发后，加入上海美专游行队伍，走在斗争前列。1936年10月，林夫等筹办的“第二回全国木刻流动展览会”在上海揭幕，8日，鲁迅扶病前来参观，与林夫等座谈并合影。“八一三”上海抗战爆发后，返回浙江平阳，在中共闽浙边临时省委领导下，开展救亡运动，并参加山门学校抗日救亡工作。1938年1月，闽浙边临时省委开办抗日救亡干部学校，他担任宣传工作。干校结束，任新四军驻闽边后方留守处抗日流动宣传队副队长，活动于浙南，在平阳、瑞安、泰顺等县活动，所有宣传画都出自林夫手笔。并为中共温州地下党的文艺刊物及《暴风雨诗刊》提供木刻稿。同年5月，宣传队结束，被分配在中共平阳县委工作，6月，林夫任平阳县委组织部长，后任宣传部长。此间，仍从事木刻创作，1939年5月，在丽水和郑野夫、金逢孙组织“七七”版画研究会，曾编印《红五月》纪念木刻集，并写了后记。8月底重返千阳办巡回展览。