1907年生于辽宁省旅顺金家屯。1926年于旅顺师范附属公学堂毕业,考入南满铁道株式会社大连沙河口工厂技工养成所当见习生。不久，金伯阳参加了大连中华工学会、中华青年会、大连中华职工见习同窗会等进步工人组织。1926年4月,在党的领导下,组织和参加了福岛纺织厂工人罢工。

1927年加入中国共产主义青年团,后被捕入狱,在敌人酷刑面前坚贞不屈。1929年转为中国共产党党员。1931年任中共满洲省委候补委员、常委,负责工运工作。他经常深入到工人群众中宣传党的方针政策,启发工人的阶级觉悟,成功地领导了奉天启东烟草公司工人的罢工斗争。

1932年组织了“哈尔滨赤色工会”。两次赴苏联参加远东“赤色职工国际”会议,研究考察工人运动问题。曾代表满洲省委巡视奉天、抚顺、大连等地产业部和建立赤色工会的工作。1933年7月,以满洲省委巡视员身份到磐石巡视工作,传达贯彻中共中央“一·二六”指示信，协助杨靖宇和磐石中心县委做了大量工作，使东北人民革命军第一军独立师很快建立起来。并将抗日军苏剑飞部(即“苏营”)改编为东北人民革命军第一军南满第一游击大队。