这个师下辖四个旅和抗日军政大学第四分校，全师约有2万人。几个旅的负责人分别为：第10旅下辖两个团，旅长刘震，政委康志强；第11旅下辖三个团，旅长滕海清，政委孔石泉；第12旅下辖两个团，旅长谭友林，政委赖毅；萧县dú • lì 旅，旅长纵汉民，政委李中道。
至于黄克诚和张爱萍带走的上万人，后来发展为新四军第3师。黄克诚担任师长，张爱萍后来担任过副师长。
1941年上半年，新四军第4师在皖北和顽军摩擦，因此损失惨重，保守统计损失超过4000人，还有许多官兵选择叛逃。
当年5月，第4师转移到皖东北地区休整。随后第12旅被撤销，下辖的两个团，一个团被编入地方部队，一个团被编入第11旅的第32团。
当年8月，成立第4师骑兵团，这是新四军唯一一个骑兵团。不久，新四军军部的邓子恢奉命来到皖东北，担任第4师政委。
当年9月，第10旅因为损失太大来到苏北地区休整，随后被划入黄克诚的第3师。第3师第9旅则被划入第4师，第9旅旅长张爱萍留在苏北改任为第3师副师长。第9旅政委韦国清改任为第9旅旅长，第10旅政委康志强改任为第9旅政委。
至于第10旅被划入第3师以后，旅长刘震兼任旅政委。此时的第4师，下辖韦国清的第9旅和腾海清的第11旅，加上直属部队共有约1.3万人。
1944年9月，彭雪枫在河南省夏邑县牺牲，第3师副师长张爱萍改任为第4师师长。第4师政治部主任肖望东被调到别的部队工作，吴芝圃改任为第4师政治部主任。
第9旅旅长韦国清升任为第4师副师长，滕海清改任为第9旅旅长，原第4师参谋长张震改任为第11旅旅长。
另外，恢复了第12旅的番号，由饶子健担任旅长。此时的新四军第4师，终于恢复了元气，下辖3个野战旅。
此时的第4师，师长为张爱萍，政委为邓子恢，副师长为韦国清，参谋长为张震，吴芝圃为政治部主任。黎同新担任师特务团团长，周纯麟担任师骑兵团团长，滕海清担任第9旅旅长，康志强担任第9旅政委，张震兼任为第11旅旅长，赖毅担任第11旅政委，饶子健和张太生分别担任第12旅旅长和政委。
这些人大多在建国后被授予少将或者中将军衔，甚至还出了几名开国上将。
抗战结束前，这支部队已经从373人发展到3万人上下，又组建了地方武装2万多人，歼敌至少5万人。
抗战胜利后，根据指示，第4师第9旅被调到山东战场，后来和新四军第2师的两个旅，被合编为山东野战军第2纵队，也就是第21军的前身。
第4师的直属部队和特务团，还有军校则被并入由粟裕和张鼎丞指挥的华中军区和华中野战军。其他部队，被改编为华中野战军第9纵队。
下面谈谈新四军第4师出过哪些开国元勋：师长张爱萍，开国上将，担任过国防部部长。副师长韦国清，开国上将，担任过总政治部主任。参谋长张震，开国中将，于1988年被授予上将军衔，担任过军委副主席。政委邓子恢，担任过副总理。政治部主任吴芝圃，担任过河南省委书记。政治部主任肖望东，开国中将，担任过济南军区政委。滕海清中将，担任过北京军区副司令员……