日本投降后回师江北。1945年10月任华中军区副司令员、华中野战军司令员。指挥高邮战役和陇海线徐(州)海(州)段战役，歼灭拒降日伪军2万余人，为迎击国民党军的进攻准备了内线作战的有利条件，使华中、山东解放区连成一片。1946年6月蒋介石发动全面内战后，中共中央采纳他的建议，改变太行、山东、华中3支大军同时出击外线的计划，同意华中野战军主力先在苏中内线作战。7月起，指挥华中野战军主力3万余人，与12万美械装备的国民党军作战，七战七捷，每战均集中绝对优势兵力歼敌一部，一个半月中歼敌5.3万余人，鼓舞了解放区军民敢打必胜的信心，为解放战争初期的作战指导提供了实践经验。中央军委将苏中作战经验通报全军，要求各区"仿照办理"。10月山东、华中野战军会师后，根据中共中央决定，负责战役指挥。
1947年1月任华东野战军副司令员，仍负责战役指挥。在战略上仍处于内线的条件下，先后指挥了宿北、鲁南、莱芜、泰蒙、孟良崮等战役，共歼敌7个军(整编师)和1个快速纵队，内有国民党号称"王牌军"的整编第74师。人民解放军转入战略进攻后，同陈毅一起率华东野战军主力挺进鲁西南，掩护晋冀鲁豫野战军主力南下大别山，指挥沙土集战役，歼敌1个整编师，迫使敌从山东和大别山区抽调4个整编师来援，实现了华东战区由内线向外线、从战略防御到战略进攻的转折，随即挺进豫皖苏边区。他体察军事政治形势的发展，于1948年1月、4月提出3个纵队暂缓渡江南进，集中兵力在黄淮地区打大歼灭战的建议，为中共中央采纳。5月陈毅奉调到中原工作，他任华东野战军代司令员兼代政治委员。6月兼任豫皖苏军区司令员。
六七月间，指挥华东野战军8个纵队、中原野战军2个纵队进行豫东战役，歼敌9万余人，取得了大规模攻城打援作战的胜利，改变了中原、华东战场的战略态势，打乱了国民党军防御体系，为尔后进行更大规模的歼灭战创造了有利条件。9月指挥济南战役，攻克坚固设防的大城市济南，歼敌10万余人。9月24日提出进行淮海战役的建议，经中央军委批准，中原、华东野战军并肩作战，于11月6日发起淮海战役。11月8日与华东野战军副参谋长张震联名提出将南线国民党军主力抑留于徐州及其周围逐步歼灭的重要建议，为中央军委采纳，对扩大淮海战役规模，发展成为南线的战略决战起到了积极作用。在战役中，作为中共淮海前线总前委成员，直接指挥了华东野战军17个纵队作战。
