在第4野战军各野战部队中，第42军成立最晚。其前身为抗日战争胜利后，解放军从关内进军辽东北的一些部队，先后组成的辽东军区独立第1，第2，第3师。 1948年3月，这些部队合编为东北野战军第5纵队，司令员万毅，政委刘兴元，各师分别改为第12，第14，第15师。这也是整个解放战争期间我军组建的唯一一个“第5纵队”。11月，改为第42军，军长万毅，政委刘兴元，各师再改为第124，第125，第126师。1950年10月，成为志愿军第一批入朝参战部队。1952年12月回国后进驻雷州半岛，属中南军区（1955年后改为广州军区）。后移防广东惠州。

第42军成立后，先后参加了辽沈战役，平津战役，新安战役，豫西伏牛山剿匪。建国后该军调黑龙江齐齐哈尔从事农业生产，准备集体转业。但1950年6月朝鲜战争爆发时，该军是当时东北地区唯一的战斗机动部队，因而成为了志愿军首批入朝参战部队之一，于10月19日夜跨过鸭绿江，开始了抗美援朝战争。第42军先后参加了第一至第四次战役，1951年夏秋季阵地防御战役和1952年春夏季巩固阵地作战。第一次战役中，该军第124、第126师在东线黄草岭、赴战领地区阻击美、韩军的进攻，苦战13昼夜，歼敌2700余人，有力配合了西线的作战。第371团4连坚守烟台峰阵地，两天之内打退敌人20次进攻，歼敌250余人，荣获了“黄草岭守备英雄连”称号。