1920年8月中旬，杨和陈独秀、李汉俊、李达等上海法租界老渔阳里2 号《新青年》编辑部正式成立了“中国的第一个共产党组织”，取名为“中国共产党”，“陈独秀为书记”。（据中共中央党史研究室编写的《中国共产党历史》的最新版本）杨遂由俄共党员转为中共党员。随后杨参与党的一些理论宣传和教学活动，从事一些工会工作。

他参与决定将《新青年》杂志改为发起组织的机关刊物，并创办《共产党》月刊，宣传马克思主义和十月革命的经验。在此期间，他陪同维金斯基往来于北京、上海、济南等地，推动各地共产党组织的建立。他经手在上海渔阳里6号租赁了一幢房子， 开办中俄通讯社和外国语学社，并担任社长。中国社会主义青年团成立后，团中央机关也设在这里。1920年至1921年，他具体安排刘少奇、任弼时、萧劲光等20余人赴苏俄学习。他还指导建立了中共领导的工会——上海机器工会。

1920年秋天，杨明斋回山东，在济南与王尽美、邓恩铭等会见，回平度向乡亲宣传俄国革命。

1921年春，他与张太雷作为中共代表赴伊尔库次克，向共产国际远东书记处汇报中共建党情况及与共产国际建立关系等问题，并起草了关于建立共产党国际远东书记处中国支部的报告， 提交共产国际第三次代表大会。同年6月，与张太雷赴莫斯科出席了共产国际第三次代表大会。

1921年9月，陈独秀由广州回到上海任中共中央局书记，成立党的支部， 他为支部成员。

1921年中共一大以后，杨明斋从事党的理论教育和新闻宣传工作。

1922年7月，他出席了中共二大，积极参与制定党的反帝反封建纲领。后任苏联顾问团翻译，在广州做促进国共合作的工作。他先后在《工人周刊》（中共北方党报）、劳动通讯社任编委，还参加了北京马克思学说研究会的工作。他以马克思主义理论研究中国思想文化，成为建党时期党内屈指可数的几个马克思主义理论家之一。

1924年6月出版了14万言的《评中西文化观》 一书，批判了反对马克思主义在中国传播的复古主义思潮，在当时的思想战线产生了重要作用。

1925年夏，杨明斋在广州任苏联顾问团翻译。10月，为中国革命和国共两党培养干部，他受党的委托在上海接收和选送学员，率领包括张闻天、王稼祥、乌兰夫、伍修权等在内的第二批学员百余人赴苏联到新组建的莫斯科中山大学学习。 后在中山大学负责总务工作。

1927年大革命失败后，杨明斋奉命经上海秘密回国，到京津地区工作。在白色恐怖下，他积极进行理论思考，他用两年时间写作出版了18万字的《中国社会改造原理》一书，明确指出，中国“要采纳社会主义”。

为保存力量，杨明斋被党组织安排到河北省丰润县车轴山中学任教，他教育许多学生投身革命。他对革命同志亲切和蔼，是个忠厚的长者。

1930年1月，杨明斋秘密越境赴苏联治病，直到同年秋一直在哈巴夫斯克扫盲站当中文教员，后到符拉迪沃斯托克，并在当地报社和无线电台工作。1931年被当作叛逃者流放到托木斯克当勤杂工。1934年8月行政流放期满后到莫斯科，进入苏联外国工人出版社工作，先后任投递员和校对员。1938年2月，以被捏造的罪名遭逮捕，并于同年5月牺牲。

1989年1月，苏共中央通过决定，指出在20世纪30—40年代以及50年代初，有数十万人根据非诉讼机关的判决遭到迫害，建议最高苏维埃撤销这些非法的判决，为受害者平反。杨明斋被彻底平反，恢复名誉。

1989年2月18日，苏共中央委托苏联科学院远东研究所所长吉塔连科对于杨明斋的行踪向中国的党史工作者作出了说明。

1989年8月，杨明斋由国家民政部门公布为革命烈士。

中国共产党的这位“忠厚长者”为探索中国革命的道路，矢志不移，直至献出了自己宝贵的生命。