山川均为冈山县人。1895年入同志社中学，1898年入东京明治义会中学，翌年到东京政治学校听讲。1900年3月同守田文治创办《青年福音》小杂志，信仰基督教，幻想“日本在共和政治下，实现社会主义。”由于他发表文章，大胆地评论皇室的婚姻关系，宣传资产阶级民主思想，触犯了天皇的尊严，5月以以不敬罪被判刑三年半。在狱中读到英国古典政治经济学著作，才认识到“社会主义并非来自正义和人道的观念，必须从社会的经济原则中去寻找”。

1904年出狱，1906年加入日本社会党，同年任《日刊平民新闻》编辑委员。1907年该刊停办后又办《大阪平民新闻》，1908年6月因“红旗事件”被判刑二年，出狱后，因已发生“大逆事件”回家经营药店。1915年又到东京，1916年任《新社会》编辑，撰文批判民本主义，成为社会主义运动的中心人物。他主张大正民主运动的领导权，应从第三阶级手中转到第四阶级手中（当时天皇是第一阶级，贵族是第二阶级，小职员是第三阶级，劳工是第四阶级），应以“根本改变经济组织从而变革政治本身”。1920年参加创立日本社会主义同盟。1922年参加创建日本共产党，任总务干事，发表《无产阶级运动的方向转变》一文，主张无产政党联合，到群众中去，这时山川主义成了当时运动的指导理论。1923年鼓吹取消主义，未经党的代表大会讨论，宣布取消日本共产党，成为党内右倾机会主义代表。1925年拒绝参加再建日本共产党。之后和荒畑寒村等组织劳动农民党，1927年12月与猪俣津南雄等创办《劳农》杂志，成为劳农派理论家，反对日本共产党的两阶段革命论。1928年经日本共产党第三次代表大会通过被开除出党。1929年结成东京无产党，1931年合并成全国劳农大众党。1937年改为日本无产党。同年中日战争爆发。他因“人民战线事件”被捕入狱，1939被保释出狱。