日军为寻歼在豫南的中国军队汤恩伯集团军，抽调第3、第17、第40师及特种兵一部，集中在信阳以北地区，由第11集团军司令官_部和一郎指挥进攻豫南。中国第五战区司令长官李宗仁指挥3个集团军共8个军组织防御，将第31集团军（总司令汤恩伯，辖第13、第85、第29、第92军等部）集结于舞阳以南及汝南以东地区；第2集团军（总司令孙连仲，辖第55、第59、第68军）集结于唐河、泌阳附近；第21集团军（总司令李品仙，辖第84军）集结于息县（今包信集）附近。各集团军派出有力支队潜入敌后袭扰，以少部在正面抗击，主力预伏于日军进犯路线两侧，待机破敌。

1941年1月24～25日，日军分三路相继沿平汉铁路（今北京―汉口）及两侧北犯：左翼兵团第3师加强步兵2个营，炮兵、工兵各1个团，由小林店向舞阳进攻；中央兵团第17师加强炮兵1个营，由明港向西平进攻；右翼兵团第40师由正阳向上蔡进攻。同时，皖北、豫东日军分别向涡阳、黄泛区进犯，策应豫南作战。至27日日军进至汝南、驻马店、沙河店、春水一线。第五战区捕捉日军已分散、疲惫之机发动反击，令第13军向象河关侧击，第85军向上蔡附近侧击，第68、第55军分向象河关、泌阳之敌尾击，第59军由襄樊向南阳推进。29日，日军中央兵团至遂平扑空，左右两翼兵团遭第13、第85军重创，为挽救两翼危局，遂于31日变更部署，将中央兵团分向两翼迂回，企图与右翼兵团在汝南夹击第85军，与左翼兵团在舞阳夹击第13军。第85、第13军迅即先机转移，日军再次扑空，并遭到第2集团军3个军和第84军侧背攻击，连日苦战疲惫不堪，后方联络被割断，遂于2月2日开始回撤。日军第3师留一部于舞阳、保安寨向北警戒，主力由保安寨窜犯南阳和镇平，4日陷南阳。第五战区乘胜跟踪追击和截击，迫日军向原驻地龟缩。2月12日，恢复战前态势。