不少人疑惑，霍光权倾三朝，难道不清楚自己离世之后，霍氏一族大概率会遭到汉宣帝清算？翻阅《汉书》便能发现，霍光心里其实早有预判，为此他在病重临终前，还特意谋划了一条退路。

他上书汉宣帝，请求把自己名下的一部分封地，划拨给哥哥霍去病的后人霍山，还打算将霍山过继到霍去病一脉，用来延续冠军侯的香火。霍光十分清楚，自己的儿子霍禹能力平庸，约束不住家族子弟；妻子霍显行事张扬跋扈。他心里明白，霍家子弟长期身居高位，掌权太久，必然会和皇权产生冲突。
他想借着霍去病在民间的崇高声望，单独分出一支血脉。就算日后霍禹这一脉被清算，靠着霍去病的功绩，至少能保住霍山一脉，给霍家留下一丝香火。可他万万没料到，汉宣帝铁了心要彻底铲除霍氏势力，不会因为霍去病的功绩就手下留情。

客观来讲，霍光本人对汉室算得上忠心耿耿。自汉武帝临终托孤开始，他辅佐汉昭帝，废掉行事荒唐的刘贺，扶持流落民间的汉宣帝刘询登基，稳定朝堂局势，推行休养生息的国策，让西汉国力稳步回升，一生都在维护大汉江山稳固 。

真正埋下灭族隐患的，是他的妻子霍显。霍显一心想让女儿霍成君当上皇后，趁着许平君皇后分娩之际，买通女医淳于衍，暗中下毒害死许皇后，也就是汉宣帝贫贱时期的结发妻子 。这件事情败露后，霍显才把全部真相告知霍光。
霍光得知真相后内心极为震惊，按照本心，他本可以主动上报皇帝，惩处妻子。可一旦揭发，整个霍家就会大祸临头。权衡利弊之后，霍光选择隐瞒真相，动用自己的权势压下这桩命案，包庇了霍显，这也是他一生最大的污点。

即便犯下这件错事，霍光自始至终也没有谋害汉宣帝，更没有谋朝篡位。他只想稳稳做一代权臣，守住家族荣华。可这件毒杀皇后的事，汉宣帝一直隐忍记在心里。碍于霍光手握军政大权，朝堂内外遍布霍家亲信，宣帝不敢当场发难，只能隐忍蛰伏，等待时机。

等到霍光离世，霍家子弟依旧不知收敛。霍禹等人牢牢把控禁军兵权，行事奢靡蛮横，甚至还谋划废掉汉宣帝。这些举动，彻底点燃了宣帝积压已久的怒火。汉宣帝借着当年许皇后被害的旧案，一步步剥夺霍氏兵权，随后以谋反为由，清算整个霍氏家族。霍禹被腰斩，霍显被当众处刑，霍氏一族几乎被屠戮殆尽，就连原本过继给霍去病的霍山、霍云，也一并被牵连诛杀，霍光预留的后路，最后还是落空了。

说到底，霍光清楚功高震主的风险，也提前布局想要保全后代。可他没能约束好家人，包庇了妻子犯下的重罪；霍家子弟又恃权骄纵，不知进退。纵然霍光一心忠于汉室，最后依旧没能保全整个家族。班固在《汉书》中也曾感慨，霍光匡扶汉室堪比周公，可因为纵容家眷，最后落得宗族覆灭的悲惨结局。