汉武帝后元二年（公元前87年），老皇帝刘彻又病了。术士说是因为长安监狱中有天子气，冲撞了皇帝。于是，刘彻下诏，凡长安监狱的囚犯，无论罪行轻重，一律处死。当使者内谒者令郭穰奉诏连夜来到郡邸狱时，丙吉却紧闭监狱大门，不让使者进去，并说："皇曾孙在此，就连其他无罪的人都不应该处死，何况这里还有皇帝的亲曾孙呢！"郭穰在狱外守候到天明也未能进去。郭穰还宫后，向刘彻奏报了丙吉的情况，刘彻此时己有所觉悟，说："这是上天的旨意。"因此大赦天下，长安监狱的囚徒，都因丙吉而活了下来。
大赦后，丙吉打听到史良娣的母亲贞君及兄长史恭仍在，便把四岁多的刘病己用车载着交了到史家。贞君虽己年老，但仍十分心疼这个孤苦伶仃的曾外孙，并亲自抚养他。
不久，汉武帝下诏，刘病己回归皇室宗籍，由掖庭（即后宫）抚养看顾。掖庭令（后宫令丞，宦者为之）张贺，曾经服侍过太子刘据，常思故主旧恩，非常怜惜病己，故而奉养十分恭谨。除了后宫供给的日常开支外，还拿出自己的俸禄来供给刘病己衣物和读书。刘病己渐渐长大，到了可以婚娶的年龄时，张贺便准备把孙女嫁给他。可是，他的弟弟右将军张安世知道后，很不高兴，说："刘病己是卫太子的后代，能得到由后宫供给的衣食，过平民生活就足够了，不要再提嫁孙女的事了。"权贵兄弟说话了，掖庭令也不好违拗。
