台湾于1895年被日本侵占后，岛内人民仍同大陆保持着密切联系，一些进步青年回大陆学习时接受了共产主义思想。如岛内的女革命者谢雪红在1925年便于上海参加五·卅运动，同年加入中国共产党，年底入莫斯科东方大学，同邓小平、蒋经国为同期同学。1928年4月，以旅沪台湾革命青年为骨干的台湾共产党在上海租界一家照相馆的二楼上成立，后被人俗称“老台共”。台共书记为林木顺，蔡乾（后改名蔡孝乾）、谢雪红等为中央委员会成员。

台共在中共中央帮助指导下建立，不过按照共产国际关于殖民地党组织应归宗主国党组织领导的原则，当时的名称是“日本共产党台湾民族支部”，归日共领导。台共建立后即返岛发动群众，于1929年在台湾中南部通过“农民组合”发起小规模暴动，日本警方随之展开第一次“台共大检肃”，逮捕了许多骨干。随着日本共产党组织在本土被破坏，1931年日本警方在全岛发动第二次“台共大检肃”，抓捕了台共领导谢雪红等人并判重刑，导致组织瓦解，只剩少数人隐蔽民间或潜回大陆。如蔡孝乾回福建后进入中央苏区，作为台湾代表参加了第二次全国苏维埃代表大会，后跟随红军长征到陕北，抗战时还任过八路军敌工部部长。