汉武帝在位的时候，大将军霍光是朝廷举足轻重的大臣，深得武帝信任。武帝监死前，把幼子刘弗陵（昭帝）托付给霍光辅佐。昭帝去世后，霍光又立刘询做皇帝（宣帝）。霍光掌握朝政大权四十多年，为西汉王进立下了不小的功勋。
刘询承皇位以后，立许妃做皇后。霍光的妻子霍显，是个贪图富贵的女人，她想把自己的小女儿成君嫁给刘询做皇后，就乘许娘娘有病的机会，买通女医下毒害死了许后。毒计败露，女医下狱。此事霍光事先一点也不知道，等事情出来了，霍显才告诉他。霍光非常惊惧，指责妻子不该办这种事情。他也想去告发，但又不忍心妻子被治罪，前思后想，还是把这件伤天害理的事情隐瞒下来了。霍光死后，有人向宣帝告发此案，宣帝派人去调查处理。霍光的妻子听说了，与家人、亲信商量对策，决定召集族人策划谋反，不想走漏了风声，宣帝派兵将霍家包围，满门抄斩。
东汉史学家班固在《汉书·霍光传》中评论霍光的功过。说他“不学无术，暗于大理”，意思是：霍光不读书，没学识，因而不明关乎大局的道理。成语“不学无术”，指没有学问，没有本领。