1948年9月24日，济南战役尚未结束，粟裕便向中央军委提出了举行淮海战役的建议。他的战役计划分为两步：先夺取淮安、淮阴，而后进占海州、连云港。第二天，中央军委就批准了他的建议，但提出修正意见，要求“第一个作战目标，应以歼灭黄（百韬）兵团于新安、运河之线为目标。”然后再去攻占淮安、淮阴、海州、连云港等地区，这就是淮海战役最初的构想。

根据中央军委的意见，华东野战军于10月5日至24日在山东曲阜召开了师以上干部参加的军事会议，研究制定了淮海战役的作战方案。11月16日，中共中央决定由刘伯承、陈毅、邓小平、粟裕、谭震林组成统一指挥华东野战军和中原野战军的总前敌委员会，以邓小平为书记。

淮海战役共分三个阶段，11月6日至22日是第一阶段。碾庄战役即为第一阶段中的重要战役。这时，黄百韬兵团正位于东接连云港、西近徐州的陇海线上。这一阶段的重心，是集中兵力歼灭黄百韬兵团，完成中间突破。11月6日，战斗打响。黄兵团企图夺路西逃。国民党第三“绥靖”区副司令官、中共地下党员何基沣、张克侠率部2.3万人突然在贾汪、台儿庄地区起义，华东野战军主力立刻穿越他们的防区，迅速切断正向徐州靠拢的黄兵团的退路。各路增援的敌军都收到坚决阻击。黄兵团只得折回碾庄，被压缩在纵横不到10公里的包围圈内。黄兵团依仗着地形优势和完善的工事，打得非常狡黠和顽固。