到了汉惠帝之时，季布官拜中郎将（皇帝的护卫官，属郎中令）。
吕后、樊哙与朝中诸臣纷纷要求出兵攻打匈奴之时，季布非常清醒，他不顾自己曾在项羽手下任过大将的“历史问题”，毫不犹豫地站出来讲了自己的观点。
吕后听了季布的话，什么也没有说，下令退朝，从此再不提出击匈奴一事（太后罢朝，遂不复议击匈奴事——《史记·季布列传》）。吕后心里不得不佩服季布说得有道理，但是，樊哙又是自己人，不便批评，只好罢朝。
但是，如何答复匈奴冒顿单于的信呢？
吕后让人写了一封言辞谦恭的信，说：大单于没有忘记我，专门给我写了信，我惶恐不安。仔细想一想，我已经年老体衰，头发、牙齿都脱落了，走起路来摇摇晃晃，故难以从婚。
并赠送了[...]
