1974年，7岁的曾国强开始接触到举重，受家乡多次打破世界纪录的陈氏三杰（陈镜开、陈满林、陈伟强）的影响开始学习体育，1976年，因在一次比赛中发挥出色，被石龙体校举重教练卢培军看重，进入举重班系统地学练举重，1980年时任广东省举重队教练的叶浩波来石龙挑选队员，曾国强顺利被选中，成为省队的一员，在省队待了半年，因年级偏小竞争力不足就被退回。1981年，因广东队缺少全国青年锦标赛新增的48公斤级项目的运动员，曾国强得到机会参加比赛，并在比赛中获得抓举、挺举和总成绩三个冠军，正式进入省队；后入选八一队，1983年进国家队。

1984年2月，国家举重队选派了曾国强在内的六名运动员，去前苏联的举重训练基地进行为期一个多月的封闭集训，并由此选拔参加在洛杉矶举行的奥运会。曾国强在前苏联举重队受到了专业的科研教练，进步很快，并将成绩提高到了抓举110公斤，挺举135公斤；7月29日，在第23届洛杉矶奥运会上（该届奥运会受到苏联等国家抵制，东欧部分国家未参加），曾国强在举重52公斤级抓举比赛中以105公斤的成绩居第三，挺举比赛第一次试举成功举起130公斤，最终以夺得235公斤的总成绩夺冠，为中国代表团赢得了该届奥运会第二枚金牌，也是中国奥运会史上的第二枚金牌，并成为中国第一位摘得奥运会金牌的举重运动员。同年，曾国强在第38届世界举重锦标赛上获总成绩和挺举两项冠军；并在第16届亚洲举重锦标赛上获52公斤级抓举、挺举、总成绩三项冠军。