原先尚书只是皇帝的内廷秘书，而内廷诸职，又隶属于御史中丞，现在皇室又另有一个代表人，霍光以大司马大将军辅政名义来掌领皇帝的秘书处，他不让外面宰相知道皇室事，他却代表皇室来过问政府事，如是则皇室超越在政府之上，那岂不是要出大毛病？所以后来汉宣帝想把霍氏权柄削减，便恢复旧制，仍有御史中丞来管领尚书，如是便由御史中丞透过御史大夫，而达到宰相，内廷与外朝声气又通，大司马大将军便没有权重了。霍家也就垮台了。