山东军区部队继续贯彻“敌进我进”的方针，积极打击日伪军，恢复根据地。
1944年，共恢复和开辟了7000多个村庄的地区，恢复了清河军区与冀鲁边、胶东军区的联系，沟通了滨海、胶东、鲁中、清河军区的联系。
1944至1945年春，山东军区连续发动攻势作战。在一年多的时间内，共歼灭日伪军11万余人，迫使伪军反正1.5万余人，收复县城19座，将日伪军压缩在城镇和主要交通线上。
1945年8月，山东军区将主力部队和基干武装编成8个师、12个警备旅和1个海军支队，向日伪军展开了大反攻，经过1个多月的战斗，歼灭日伪军6万余人，解放了除铁路沿线以外的大片国土。
抗战胜利后，根据中共中央军委指示，罗荣桓率第1、第2、第3、第5、第6、第7师、渤海新编师、东北挺进队、警备第3旅、军区教导团及军区机关部分人员共6万余人，于10至11月，由陆路和海路分3批开赴东北。