1949年1月任第三野战军副司令员兼第二副政治委员(仍代理司令员、政治委员职务)。在渡江战役中指挥所部追歼逃敌5个军于皖南郎溪、广德山区，解放南京、杭州。5月指挥上海战役，歼敌主力8个军于上海外围，使上海免遭严重破坏。先后兼任上海市军管会副主任、南京市军管会主任、南京市市长、华东军政委员会副主席。在解放战争中，他富有战略远见，善于关照战略与战役和各战役、各阶段之间的联系，适时集中和转用兵力，取得了一系列重要战役的胜利，积累了组织指挥大兵团作战的丰富经验。
1951年任人民解放军副总参谋长，1954年任总参谋长。坚持真理，实事求是。深入研究国防战略，制定作战计划，探索未来反侵略战争的战略方针、作战指导和国家战备等问题，提出诸军兵种建设方针和富有战略创见的设想，使总参谋部在军队现代化、正规化建设中发挥重要的组织领导作用。1955年被授予大将军衔和一级八一勋章、一级独立自由勋章、一级解放勋章。是第一至第三届国防委员会委员。
1958年在军委扩大会议上受到错误的批判，并因此长期受到不公正的对待。同年调任国防部副部长兼军事科学院副院长。1972年任军事科学院第一政治委员。他致力于坚持和发展毛泽东军事思想，提倡学习军事辩证法。中共十一届三中全会后，提出要在军事领域解放思想，研究和回答现代战争提出的新问题。是军事科学研究实践的一位开拓者。"文化大革命"中曾任国务院业务组成员，在周恩来领导下，分管铁道、交通、邮电、港口建设和造船统筹。是中共第七届中央候补委员，第八至第十一届中央委员。1967～1968年、1975～1982年任中央军委常委。1980年当选为全国人大常委会副委员长。1982年当选为中共中央顾问委员会常务委员。1984年2月5日病逝于北京。主要军事著作有《对未来反侵略战争初期作战方法几个问题的探讨》(1979)、《粟裕战争回忆录》(1988)、《粟裕军事文集》(1989)等。
