抗日战争爆发后，于1938年1月在闽浙边讲授游击战术时论述了抗日游击战争的战略意义。4月任新四军第2支队副司令员、先遣支队司令员，率部挺进江南敌后，首战韦岗告捷。接着率领第2支队在南京、芜湖、溧水地区抗击日军。1939年8月任新四军江南指挥部副指挥，同陈毅一起，执行中共中央关于新四军东进北上、独立自主地开展游击战争的战略方针，开辟了苏南抗日根据地。1940年7月率部挺进苏北，任新四军苏北指挥部副指挥兼参谋长。10月协助陈毅指挥黄桥战役，粉碎了4倍于己的国民党顽固派军队的进攻，巩固发展了苏北抗日根据地，开创了华中敌后抗战的新局面。
皖南事变后，任新四军第1师师长(后兼政治委员)、苏中军区司令员兼政治委员、中共苏中区委员会书记。制定游击战与要点争夺相结合的作战方针，保持基本区的相对稳定，发动群众改造地形，拦河筑坝，设置水下障碍，限制日军汽艇机动，开展海上游击战，在临江濒海、交通发达的平原水网地区开展游击战争，挫败日伪军频繁"扫荡"、"清剿"和"清乡"，建成了巩固的苏中抗日根据地。
1944年3月开始对日军发动局部反攻，组织指挥车桥战役，创华中敌后歼灭战的范例。同年12月率第1师主力南渡长江，任苏浙军区司令员兼政治委员，后又兼中共苏浙区委员会书记，巩固和发展了苏南、浙东抗日根据地，开辟了浙西抗日根据地。1945年指挥所部在天目山区对国民党顽固派军队进行3次自卫反击战，缴获大批美械装备，率先实现了从游击战向运动战的转变。
