聂荣臻于1949年7月正式到中南海办公。最初他的办公室设在春藕斋。一间大厅，中间用木板隔开为两大间，一头是作战室，另一头是聂荣臻的办公室。当年秋天，军委办公厅和总参作战部搬到了居仁堂。那里的一切相当简陋，以至于苏联顾问团团长看到办公室的摆设以后不由地问聂荣臻："你们这个总司令部怎么这样呀?这也没有，那也没有。"意思是太简陋了。聂荣臻回答说："现在我们还在打仗，部队很分散，物质条件仍然是很困难的，还没有来得及调整充实，只能因陋就简了。"
新的中央军委组成后，即着手组建和调整总部机关，任命各部门负责人。到1950年上半年，在原先解放军总部的基础上，军委办公厅和总参谋部是最早扩编的两大单位。总参谋部的正规化建设，这时驶上了持续发展的轨道。
