霍山、霍云，亦急得没有主意。还是霍禹年纪较大，胆气较粗，自思一不做二不休，将错便错，索性把汉宣帝废去，方可免患。比母更凶。
忽然又见赵平趋入道：“平家有门客石夏，善观天文，据言天象示变，荧惑守住御星，御星占验，主太仆奉车都尉当灾，若非罢黜，且遭横死。”
霍山正为奉车都尉，听了赵平言，更觉着急慌忙。就是霍禹、霍云，亦恐自己不能免祸。正在秘密商议，又有一人进来，乃是霍云舅舅李竟的好友，叫做张赦。
霍云亦与交好，当即迎入，互相谈叙。张赦见云神色仓惶，料有他故，用言探试，便由云说出隐情。张赦即替他设策道：“如今丞相与平恩侯当权，可以叫太夫人告诉太后，先把这两个人杀了。罢黜陛下，就在于皇太后。”
霍云欣然受教，张赦也即告别。
不料属是隔墙有耳，此事竟为他人所闻，霍氏家中的马夫，约略听见张赦的计谋，夜间私议。适值长安亭长张章，与马夫相识，落魄无聊，前来探望。马夫留他下榻，他佯作睡着，却侧着耳听那马夫密谈，待至马夫谈完，统去就寝，便不禁暗喜，想着即借此事出头，希望能图得富贵。心虽不善，但不如此，则霍氏不亡。朦胧半晌，已报鸡声，本来张章就粗通文墨，至此醒来，又复打定腹稿，一至天明，即起床与马夫作别，自去缮成一书，竟向北阙呈入。汉宣帝本欲杜除壅蔽，使中书令传诏出去，无论吏民，概得上书言事。一面由中书令逐日取入，亲自披览。至看到章书，就发交廷尉查办，廷尉使执金吾官名。前往捉捕张赦石夏等人；过一会，汉宣帝又命令停止抓捕。
霍氏知阴谋被泄，越发感觉惊惶。霍山等相率聚议道：“这由县官顾着太后，恐致干连，故不愿穷究。但我等已被嫌疑，且有毒死许后一案，谣言日盛，就使主上宽仁，难保左右不从中举发，一或发作，必致族诛。今不如先发制人，较为得计！”
已经迟了。乃使诸女各报夫婿，劝他一同举兵谋事。各婿家也恐连坐，情愿如约。会霍云舅舅李竟，坐与诸侯王私相往来，得罪被拘。此案与霍氏相连，有诏令霍云、霍山，免官就第，霍氏愈致失势。只有霍禹一人，尚得入朝办事。百官对着霍禹，已不若从前敬礼，偏又经汉宣帝当面责问，谓霍家女入谒长信宫。何故无礼？霍家奴冯子都等，何故不法？说得禹头汗直淋，勉强免冠谢罪。乃退朝回来，告知霍显以下等人，胆小的都吓得发抖，胆大的越激动邪心。显忐忑不安，夜间梦见霍光与语道：“汝知儿被捕否？”
霍光果真有灵，当先活捉冯子都，这全是霍显做贼心虚，惊慌所致。霍禹也梦车声马声，前来拿人。母子清晨起床，互述梦境，并皆担忧。
霍家的住宅中的老鼠一下多了起来，与人相互碰撞，用尾巴在地上乱画。猫头鹰几次在殿前的树上叫唤。住宅的门无缘无故毁坏，霍云尚冠里的住宅中的门也无缘无故地坏了。街巷口的人都看到有人坐在霍云的屋顶上，揭下瓦片扔到地上，到跟前去看，却又没有见到人，感到非常奇怪。
地节四年（前66年）春月，汉宣帝求得外祖母王媪，及母舅无故与武，当即称王媪为博平君，封无故为平昌侯，武为乐昌侯；许史以外，又多了王门贵戚，顿使霍家相形见绌，日夜愁烦。
霍山唯独怨恨魏相，侈然语众道：“丞相擅减宗庙祭品，如羔如兔龟，并皆酌省。从前高后时，曾有定例，臣下擅议宗庙，罪应弃市。今丞相不遵旧制，何勿把他举劾呢！”
霍禹、霍云，尚说此举只有关魏相，未足保家。因此复另设一计，他们设谋叫上官太后为博平君设置酒席，把丞相、平恩侯以下的官员召来，让范明友、邓广汉奉太后的制令将这些人拉出去斩首，乘机罢除当今的天子，而立霍禹为帝。
相约定的计划还没有实施，又由汉宣帝颁诏，霍云就被任命为玄菟太守，太中大夫任宣被任命为代郡太守。霍山又因为抄写宫禁秘书犯法，霍显为此上书表示愿献出城西的宅第及一千匹马用以赎霍山的罪。汉宣帝在奏书上只批复知道了。
哪知张章又探得霍禹等人逆谋，前往报告给期门（官名）董忠，董忠转告左曹杨恽，杨恽又转达侍中金安上。
金安上是前车骑将军金日磾从子，方得主宠，立即奏闻汉宣帝，且与侍中史高同时献议，并且果断的关闭了宫门，禁止人员出入，并迅速通知了堂弟金赏。
侍中金赏，为金日磾次子，曾娶霍光女为妻。金赏与霍氏的感情是非常深厚的，一听到这个消息，金赏和妻子霍氏在面临的大难前，做出了艰难的抉择；霍氏知道，自己娘家的罪行会导致金氏的灭亡，两个儿子受到极刑的处罚，继而休屠部落和汉庭间将爆发大规模的战争，无辜的百姓会卷入无情的战火。
在这种大是大非面前，霍氏和丈夫金赏互相商量，只有让金赏休了自己，才能保全丈夫全家和自己的两个儿子。为此金赏蹒跚地走入汉宣帝的宫殿，哀戚上书愿与霍女离婚。
汉宣帝不能再容，当即派吏四出，凡霍氏家族亲戚，一体拿办。范明友先得闻风声，奔驰至霍山、霍云家内，报知祸事。
霍山与霍云魂胆飞扬，正在没法摆布，便有家奴抢入道：“太夫人第宅，已被吏役围住了！”
霍山知不能免罪，取来毒药先行服下，霍云与范明友次第服下，待至捕役到门，已经毒发身亡，惟搜得妻妾子弟，上械牵去。那霍显母子，未得预闻，竟被拘至狱中，审讯得出真相，霍禹受腰斩，霍显亦遭诛，所有霍氏诸女，及女婿孙婿，悉数处死。甚至近戚疏亲，辗转连坐，诛灭不下千家。冯子都和王子方等人，当然也做了刀头鬼，与霍氏一门，同赴冥途去了。冯子都成了阴魂，在地府又好再和霍显玩乐了，只可惜在下面要是碰着霍光了，会不会被霍光的鬼魂打呢？
唯金赏因事前交出其妻，汉宣帝念及金安上忠心及金赏的果断处理，甚是哀怜，得以金氏家族保全，幸免于难，独得不连坐。
霍氏死后，金赏内心的痛苦，旁人无从知晓，《金氏族谱》中表明他没有再续娶夫人；他的两个儿子早年夭折后，也没有让他萌生再娶妻生子的念头，一直默默的独自承受着承担对家族的重担，默默的承受着对爱妻霍氏的承诺。
金赏带领的休屠部众数次兵出西域，为维护国家的安定起了重要的作用。
而霍皇后成君因为连坐被废，收缴皇后玺绶，将其迁往上林苑的昭台宫居住。
金安上等告逆有功，俱得加封，金安上受封都成侯，杨恽受封平通侯，董忠受封高昌侯，张章受封博成侯，平地封侯，张章最为侥幸。侍中史高，也得受封乐陵侯。
先是霍氏奢侈，茂陵人徐福，已知霍氏必亡，曾诣阙上书，请汉宣帝裁抑霍氏，毋令厚亡。
汉宣帝留中不发，书至三上，不过批答了闻知二字。及霍氏族灭，张章等俱膺厚赏，独不及徐福。
臣闻客有过主人者，见其灶直突，旁有积薪。客谓主人，更为曲突，远徙其薪，否则且有火患；主人默然不应。俄而家果失火，邻里共救之，幸而得息。于是杀牛置酒，谢其邻人，灼烂者在于上行，余各以功次坐，而不及言曲突者。人谓主人曰：“向使听客之言，不费牛酒，终无火患。今论功而请宾，曲突徙薪无恩泽，焦头烂额为上客耶？”主人乃悟而请之。今茂陵徐福数上书，言霍氏且有变，宜防绝之。向使福说得行，则国无裂土出爵之费，臣无逆乱诛灭之败。往事既已，而福独不蒙其功，惟陛下察之！愿贵徙薪曲突之策，使居焦发灼烂之右。
汉宣帝览书，心下尚未以为然，但令左右取帛十匹，颁赐徐福；后来总算召徐福为郎，便即了事。时人谓霍氏祸胎，起自骖乘。
汉宣帝早已阴蓄猜疑，所以逆谋一发，便令族灭。但霍光辅政二十余年，尽忠汉室。汉宣帝得立，虽由丙吉倡议，终究由霍光决定，方才迎入。前为寄命大臣，后为定策元勋，公义私情，两端兼尽。
只是悍妻骄子，不善训令，弑后一案，隐忍不发，这是霍光一生中犯下的大错。
惟汉宣帝既已隐忌霍光，应该早令归政，或待至霍光身后，不使霍氏子弟，蟠踞朝廷，但俾食大县，得奉朝请，也足隐抑霍氏，使他无从谋逆。
况有徐福三书，接连进谏，曲突徙薪，也属未迟。为何始则滥赏，继则滥刑，连坐千家，血流都市。忠如霍光，竟令绝祀，甚至一相狎相偎的霍后，废锢冷宫，尚不能容，过了十有二年，复将她逐锢云林馆，迫令自杀。
汉宣帝也处置失策，残刻寡恩。后世如有忠臣，能不因此懈体否！孔光扬雄未始不鉴此虑祸，遂至失操，是实宣帝一大误处。
汉宣帝既诛灭霍家，乃下诏肆赦，出诣昭帝陵庙，行秋祭礼。行至途中，前驱旄头骑士，佩剑忽然无故出鞘，剑柄坠地，插入泥中，光闪闪的锋头，上向乘舆，顿致御马惊跃，不敢前进。汉宣帝心知有异，忙召郎官梁邱贺，嘱令卜易。
梁邱贺，字长翁，西汉琅邪诸县（今山东诸城）人，复姓梁丘，齐国贵族后裔。西汉今文《易》学“梁丘学”开创者，官至少府，位列九卿，其学派与施雠、孟喜并称“施孟梁丘之学”，被立为官学博士。
早年从京房、田王孙学《易》，汉宣帝时因卜筮灵验受召入朝，留侍左右。
梁邱贺正随驾祠庙，一召即至，演蓍布卦，谓将有兵谋窃发，车驾不宜前行。汉宣帝乃派有司代祭，命驾折回。有司到了庙中，留心察看检验，果然查获刺客任章，乃是前大中大夫任宣之子。任宣坐霍氏党与，已经伏诛。任章曾为公车丞，逃往渭城，意欲为父报仇，混入都中，趁着汉宣帝外出祭祠，伪扮郎官，执戟立庙门外，意图行刺。偏偏经有司查出，还有何幸？当然枭首市曹。汉宣帝亏得梁邱贺，得免不测，因擢贺为大中大夫给事中；从此是格外谨慎。
为了立后问题，几踌躇了一两年。当时后宫妃嫔，共有数人得宠，张婕妤最蒙爱幸，生子名钦；次为卫婕妤，生子名嚣；又次为公孙婕妤，生子名宇；此外还有华婕妤，但生一女。汉宣帝本思立张婕妤为后，转思婕妤有子，若怀私意，便与霍氏无二，如何得保全储君；乃更择一无子少妒的宫妃，使登后位。拣来拣去，还是长陵人王奉光的女儿，入宫有年，已拜婕妤，可令她作为继后，母养太子。王奉光的祖宗，曾随汉高祖入关，得邀侯爵，至奉光时家已中落，斗鸡走狗，落拓生涯，汉宣帝曾寄养外家，得与相识。奉光有个女儿十余岁，颇具三分姿色，只是生来一个怪命，许嫁了两三家，却往往克死未婚夫。
到了汉宣帝嗣阼，奉光女尚未适人，汉宣帝追怀旧谊，发生异想，把她召入后宫，立命侍寝，赐过了几番雨露，王女幸得承恩，宣帝却也安然无恙。想是王女命中应配皇帝。后来霍后入宫，张婕妤又复继进，或挟贵，或恃色，惹得宣帝一身，无暇顾及王女，遂致王女冷落宫中，少得入御。不过宣帝却还未忘，命王女为婕妤，得令享受禄秩。王女心已知足，安处深宫，一些儿没有怨言，膝下也无子女。
至此竟由汉宣帝选就，册为继后，就把太子刘奭交付了她，嘱令抚育。
张婕妤等，都诧为异事，引作笑谈。惟王女虽得为后，仍不见宣帝宠遇，且情性甚是温和，毫不争夕，所以张婕妤等仍得相安，由她挂个虚名罢了。正女知足不辱，却是一个贤妇。
是时为汉宣帝六年，汉宣帝已改元二次，曾于五年间改号元康，内外百僚，竞言符瑞，连番上奏，说是泰山陈留，翔集凤凰，未央宫降滋甘露，宣帝归德祖考，追尊悼考即史皇孙。为皇考，特立寝庙，豁免高祖功臣三十六家赋役，令子孙世奉祭祀，赐天下吏爵二级，民一级，女子百户牛酒，鳏寡孤独高年粟帛。
“书”云：“文王作罚，刑兹无赦。”今吏修身奉法，未有能称朕意，朕甚愍焉！其赦天下，与士大夫励精更始。
狱者万民之命，所以禁暴止邪，养育群生也。使能生者不怨，死者不恨，则可谓文吏矣。今则不然，用法或持巧心，析律贰端，析律谓分破律条，贰端谓妄生端绪。深浅不平，增辞饰非，以成其罪。奏不如实，上无由知。此朕之不明，吏之不讲，四方黎民，将何仰哉？二千石其各察官属，勿用此人。吏或擅兴徭役，增饰厨传，厨谓饮食，传谓传舍。越职逾法，以取民誉，譬犹践薄冰以待白日，岂不殆哉！今天下颇被疾疫之灾，朕甚愍之，其令郡国被灾甚者，毋出今年租赋，俾民休息！
汉代严格推行皇帝名讳制度，若百姓姓名或日常用语与皇帝名讳同字，轻则需改名，重则可能触犯刑罚。『病已』二字为民间常用字（如疾病、已发生），导致百姓避讳困难。
汉宣帝又因吏民上
闻古天子之名，难知而易讳也。今百姓多上书触讳以犯罪者，朕甚怜之，其更名询，诸触讳在令前者赦之！
汉宣帝方整顿内治，未遑外攘。忽然由卫侯使冯奉世，报称莎车叛命，弑王戕使，由臣托陛下威灵，发兵讨罪，已得叛王首级，传送京师云云。
汉宣帝并未曾遣讨莎车，不过因西域归附，前此所派遣的各使，屡不称职，乃依前将军韩增举荐，授郎官冯奉世为卫侯使。持节送大宛诸国使臣，遄返故邦。
冯奉世，字子明，上党潞（今山西黎城西南）人系上党人。后来迁徙到杜陵（今陕西西安东南）。冯奉世的祖先冯亭，是战国末期韩国上党郡的郡守。秦昭襄王四十六年（前262年），秦国攻打上党，堵住了太行山中的通道，韩国守卫不住，冯亭就把上党城献给赵国并且为之防守。赵国封冯亭为华阳君，和赵国大将赵括一起抵御秦国。秦昭襄王四十八年（前260年），冯亭在长平之战中战死。冯氏宗族从此分散各地，有的留在潞县，有的在赵地。在赵地的成为官吏将军，官吏将军的儿子们又做了代国的丞相。到秦灭六国以后，而冯亭的后代冯毋择、冯去疾、冯劫都作了秦国的将相。西汉建立以后，冯唐在汉文帝时闻名朝野，他就是代国丞相的儿子。
汉武帝末年，冯奉世因为是良家子弟而被选任作郎官。汉昭帝时，按照他的功劳的大小和所排次序补任武安县的长宫。被免官时，年纪已有三十多岁，才学习《春秋》，钻研其微言大义，读兵法，明晓其内容和实例，前将军韩增上报任命他做军司空令。。战争结束后，又担任了郎官。
在此之前，西汉数次派遣使节出使西域，大多都辱没使命不称其职，有的贪污，有的被外国刁难侮辱。元康元年（前65年），当时乌孙国很强大，有攻击匈奴的功劳，同时西域诸国刚刚与西汉和好，西汉正准备善待他们，想趁机安抚这些国家，就挑选可以出使外国的人。前将军韩增推荐冯奉世以卫候的身份持使节护送大宛等国的宾客回国。到伊修城，都尉宋将说莎车国人和其他一些国家一起攻杀了西汉所任命的莎车王万年，还杀