晋西北军区下辖6个军分区。至1940年底，晋西北军区的部队已发展到5.1万余人。
从1940年开始，第359旅在驻地南泥湾地区，展开大生产运动，增强了部队的物质供给。
从1941年开始，晋西北军区在极端困难的条件下，进行了艰苦的反“扫荡”，反“蚕食”和反“治安强化运动”的斗争。
1942年，晋西北军区部队进行了两次精简整编，主力部队由3.9万人减至2.5万人，并调整了军分区机关。
1942年5月，日军一个大队及伪军一部，奔袭晋西北军区领导机关，被军区部队围歼于兴县以南的田家会地区。
6月，第120师及晋西北军区划归陕甘宁晋绥联防军建制。
9月，晋西北军区改称晋绥军区。与此同时，第120师协同晋绥军民，运用各种方式，向敌人开展挤地盘的斗争。
至1943年上半年，基本把日伪军挤到其主要据点和交通线附近。
1943年秋，吕正操率八路军第3纵队主力9个团，由冀中来到晋绥，随后，中共中央军委任命吕正操为晋绥军区司令员，林枫为政治委员，续范亭和周士弟为副司令员。
10月，粉碎了日军的秋季“扫荡”，并在山西兴县以南甄家庄地区，歼灭日军700余人。
1944年秋至1945年夏，晋绥军区部队连续进行了3次攻势作战，把抗日根据地扩大到8.7余万平方公里。
1944年10月，根据中共中央决定，第359旅为基础组成八路军dú • lì 第1游击队，由延安，挺进湘粤边，开辟以五岭山为依托的抗日根据地。
抗战胜利后，该部与新四军第5师的部队共同坚持中原地区的斗争。
1945年8月，由晋绥军区的部队组成了吕梁、雁门、绥蒙3个军区。吕梁军区由张宗逊任司令员兼政治委员;雁门军区由吕正操任司令员，高克林任政治委员，许光达任副司令员，绥蒙军区由姚喆任司令员，张达志任政治委员。
尔后，各路部队向日伪军发起了大反攻。
9月初，贺龙、李井泉率第358旅和dú • lì 第1旅由陕甘宁边区东渡黄河，参加反攻作战。
晋绥部队经过连续奋战，收复了离石、中阳、文水、交城、陶林、武川、左云、右玉、朔县、平鲁等许多城镇，毙伤日伪军1.6万余人，俘日伪军5100余人。
在大反攻中，主力部队发展到4.5万余人，地方武装发展到4万余人，民兵发展到10万人以上。
八年抗战中，第120师及晋绥军区部队，作战约2万次，消灭日伪军12万余人，建立了晋绥抗日根据地，为抗日战争的胜利作出了重大贡献。