1941年，华北敌后抗战进入极端困难阶段，敌人不断进行“扫荡”、“蚕食”和“治安强化运动”。
为适应斗争需要，第129师实行主力地方化，分期分批将一部分主力部队与军分区合并。
8月，以第386旅、山西青年抗敌决死队第1纵队、政治保卫队第212旅编成太岳纵队，陈赓任司令员，薄一波任政治委员、纵队机关兼太岳军区机关。
至年底，第129师挫败了日伪军的各种“扫荡”、“蚕食”及“治安强化运动”。
1942年，日军对抗日根据地进行更加频繁和更大规模的“扫荡”，并实行烧光、杀光、抢光的“三光”政策，太岳、冀南和冀鲁豫边等抗日根据地受到很大摧残，抗日根据地面积缩小。
第129师在极端困难的条件下，开展整风、大生产运动和实行“精兵简政”等项政策，并实行“敌进我进”的方针，深入敌占区，打击敌人。
1943年7月至8月，第129师进行了卫(河)南和林(县)南战役，歼灭日伪军1.2万余人，恢复和扩大了抗日根据地。
尔后又打退了国民党顽固派军队对冀鲁豫边区的进攻。
10月，根据中共中央指示，第129师机关与八路军总部机关合并。太行、太岳、冀南、冀鲁豫等军区由八路军总部直接指挥。
另行组建太行军区机关，李达任司令员，李雪峰任政委。
1944年，第129师一面继续深入开展整风和生产运动，一面开展攻势作战，拔除日伪军大量据点。
1944年5月，冀南和冀鲁豫军区合并为新的冀鲁豫军区，宋任穷任司令员，黄敬任政治委员。
7月至9月，第129师先后派部队挺进豫西，巩固和扩大抗日根据地。
1945年2月，河南军区成立，王树声任司令员，戴季英任政治委员。
自1944年下半年开始，第129师利用作战间隙，对所属部队进行军政整训，提高了广大官兵的军政素质。
1945年，第129师连续展开春、夏两季大规模攻势作战，进行了道清、豫北、南乐、东平、安阳、阳谷等战役，收复县城28座，将日伪军压缩到大中城市及主要交通线上，为大反攻创造了条件。
1945年8月，第129师根据中共中央军委及八路军总部的命令，向平汉、津浦、德石、正太、同蒲、陇海等铁路线和部分中小城镇的日伪军发起大反攻，收复县城59座，解放了大片国土，使太行、太岳、冀南、冀鲁豫边4个区连成了一片。
8月20日，晋冀鲁豫军区成立，刘伯承任司令员，dèng • xiǎo • píng 任政治委员，滕代远，王宏坤任副司令员，薄一波任副政治委员，张际春任副政治委员兼政治部主任，李达任参谋长。
下辖太行、太岳、冀南、冀鲁豫4个军区。
在八年的抗日战争中，第129师歼灭日伪军42万余人，解放县城109座，在第115师一部的配合下，创立了晋冀鲁豫解放区，为抗日战争的胜利作出了重大的贡献。
抗战中，部队由出师时的9100人发展到30万人，成为解放战争时期中国人民解放军晋冀鲁豫野战军的基础。