日军第3师团到达舞阳以南之山区尚店一带时，国军张雪中的第13军，即对该敌分路北进之左翼发起攻击，经激烈战斗后，击毙击伤日军约3000人，击毁日军坦克6辆；在铁路以东的李楚瀛第85军，则对分路向上蔡进攻的日军第17师团之右翼，发动强有力的攻击，毙伤日军约1600人。
31日，日军变更部署，将中央第17师团一部向左右两翼迂回，其一部由遂平经上蔡向右旋回，企图与汝南北进之右路第40师团南北夹击第85军。
中央第17师团主力则由遂平分两路经西平向舞阳方面迂回；左路第3师团主力也向舞阳推进，企图南北夹击第13军。
中国军队第85军和第13军在日军完成合围之前，分别向叶县、郾城及沙河以北地区转移，使日军再次扑空。
与此同时，中国军队第2集团军从泌阳、唐河及其以北地区向舞阳日军后方攻击，切断其后方联络线。
日军侧背受击，决战计划一再落空，即改变作战计划。日军第3师团除留一部于舞阳、保安寨对北警戒外，主力向镇平、南阳转进第17师团及第15、第4师团各一部则经象河关向泌阳转进，企图夹击中国军队第2集团军，未得逞。
中国军队第13军乘机反攻，克复了保安寨、舞阳，续向方城追击。
4日和5日，日军第3师团先后攻陷南阳、唐河。中国军队第59军进行反击，6日，克复南阳，击毁日军汽车多辆。
日军第17师团转进至象河关附近，遭到第68军截击，伤亡甚重，至7日夜，向信阳方面退却，中国军队跟踪追击杀伤颇多。
豫东、皖北之日军华北方面军第211师团一部和骑兵第4，旅团主力为策应豫南方面作战，分路向太和、界首前进，并以飞机连续轰炸郑州、洛阳、郾城、叶县、舞阳等城市和部队。
中国军队第92军与骑兵第2军在涡河、淝河、沙河之线英勇抵抗。双方伤亡均重，日军攻陷太和、界首。中国军队固守沙河、黄汜、顽强抗击。
7日，日军先后退回原驻地。11日，全线恢复战前态势，战役结束。此役，共毙伤日军9000余人。