湖南省湘阴县（今汨罗市）人，1899年10月31日生于湘阴县塾塘乡。他的父亲任绍霖系同盟会员，日本帝国大学毕业，参加过辛亥革命，后任湖南省政法学社教授及律师等职。自1915年起，他先后就读于长沙私立开物乙种农业学校、湖南省立甲种农业学校。1920年4月，到上海进入由陈独秀、杨明斋创办的上海外国语学社学习俄文，并接受马克思主义教育。是年10月，加入中国社会主义青年团。1921年，到苏联莫斯科东方东方共产主义劳动大学学习。1922年1月由刘少奇、罗亦农介绍加入中国共产党，2月由共产国际分配到远东负责苏联境内的中国工人运动，先后任远东职工会中国分会会长、赤塔工联中国工人部部长，主编赤塔《工人之路》报。

1925年4月奉调回上海，在党中央秘书处工作，任中共中央秘书兼会计工作。1927年1月赴武汉筹划党中央机关搬迁工作，任总书记办公室负责人，是党的五大的主要工作人员之一。在1927年蒋介石发动“四一二”反革命政变到“七一五”宁汉合流期间，他旗帜鲜明地反对陈独秀的右倾机会主义错误，不顾个人安危保护和转移一大批共产党人和爱国志士。1927年9月，被党中央派往开封任中共河南省委宣传部长。1928年参与领导了确山、信阳、汝南、商城、固始等地的农民起义。4月15日，设在开封的省委秘密机关遭到破坏，他和省委书记周以栗同时被捕，受到严刑审讯，未暴露身份，被判刑一年，关在开封第一监狱。1930年1月出狱后，在党中央举办的短期训练班学习，分配到中共江苏省委工作，任省委组织部副部长、秘书和沪东区委书记等职。1932年10月，任中共山东省委书记。1933年2月27日，因叛徒出卖，被国民党特务绑架，施以酷刑，他坚贞不屈。同年9月，被押解到济南地方法院的看守所，他发动全体政治犯进行斗争，并和华岗董必武营救出狱，回到八路军驻武汉办事处。