众大臣也退出了大殿。
回到府邸，李纲一边安排下人收拾行装，准备离京赴扬州上任，一边在心里犯嘀咕。李刚搞不明白，圣上何以免了自己河北道宣抚使职务？难道圣上不再防范金人？金人乃朝廷心腹大患，不提防金人，朝廷会吃大亏的。然而，李纲被贬黜出京，许多事情已经无能为力了。李纲连声哀叹。府邸总管询问道：“大人连声哀叹，乃为何故？”李纲道：“金人虎视眈眈，圣上却免吾河北道宣抚使，以观文殿学士身份知扬州，吾忧金人再犯时，何人挺身而出，抵御金人？”
总管道：“大人啊！小的多有耳闻，不知当讲不当讲。”李纲转视总管道：“总管乃府上老人，有甚当讲不当讲的？！你都听到了什么？只管道来。”总管道：“小的听坊间说，前不久京城民变，围堵皇宫，殴打大臣，逼迫圣上再起启用大人，乃是大人在后面操纵。”李钢闻言怒道：“一派胡言！”总管恐慌地答道：“是！是！是一派胡言。民变那时，大人被罢官在府，并无操纵之事。然而，大人呀，人言可畏，有谁来分辨事情的真假？那圣上因此对大人有所忌讳恐也在所难免。”李纲见说，心有所悟，沉默未语。
“报！”府门外报道：“枢密院事许大人到访！”
李纲闻报，慌忙站起身来，往府门迎来。
李纲至府门口，见同知枢密院事许翰站立在门前，慌忙一揖，高声说道：“不知许院事大驾光临，有失远迎，罪过，罪过。”许翰也冲李纲一揖道：“李宣抚言重了，本官下朝，途径贵府，因宣抚外任，特来一唔。”李纲道：“许院事请进。”李纲招呼着许翰进了府门。
两人来到大堂，分宾主坐定。下人献上了茶，退了下去。李纲对许翰说道：“吾明日即赴扬州外任，许院事前来拜访，定有指教。”许翰喝了口茶道：“指教说不上，只是和宣抚闲聊几句。”李纲道：“院事请讲。”许翰道：“今日朝会，圣上因徐处仁、吴敏当殿争吵，勃然大怒，贬其二人，外出为官，宣抚对此，有何见地？”李纲道：“目今局势，对我大宋，极为不利。外有金人虎视眈眈，内有诸事纷扰不断。圣上日理万机，大臣不能为此排忧解难，反倒争名夺利，圣上因此发怒，贬其外出为官，也可理解。”许翰看了李纲一眼道：“北方金人虽已撤离，然其野心勃勃，对我大宋贪念不忘，随时会再次侵宋。宣抚于河北整顿军务，提升战力，防患于未然，正当其时，何以也被圣上以观文殿学士身份知扬州？”李纲道：“圣上已经明说，目今朝堂之局面，皆系吾所赐!对此，许院事有何指教？”
许翰又喝了口茶，捋了捋胡须，缓缓说道：“据传言，二月五日，那场百姓军民冲击宫城之事，即为宣抚大人操纵。”李纲忙道：“绝对没有。适才，吾府总管也是如此之说。”许翰道：“那是当然，宣抚大人绝对不会操纵此事；然此事关乎宣抚大人再任东京防卫使、总管，即使是大人没有操纵，圣上心中恐亦不满。”李纲闻言，看向许翰，等待着许翰祥说此事。许翰也看看李纲，说道：“金人离境，宣抚大人名为总兵，实为宣抚，前往河北，整顿军务，对朝中诸事知之甚少。大人外任河北之时，朝中诸事均由耿南仲、张邦昌、唐恪、吴敏等人把持，圣上唯耿南仲等人之言为是。在一次朝会上，圣上在耿南仲的奏折上批道：‘惟辟作威，惟辟作福，大臣专权，浸不可长’此乃对宣抚大人有所顾忌也！今日吴敏、徐处仁被贬黜外任，其实是为了贬黜宣抚大人呀！宣抚大人试想，吴敏何其受宠幸也，何以仅仅因为当殿争吵一事便被贬黜外任？”李纲见说，惊奇地睁大了双眼。许翰续说道：“宣抚大人被贬黜外任，非为边事，乃因内务。圣上贬黜徐处仁、吴敏，乃是借机贬黜大人而已。圣上之所以贬黜宣抚大人，乃是因为宣抚大人率先提议逢迎太皇也。”李纲不解道：“太皇远离京师，龙体欠安，不当逢迎返京吗？这与江山社稷、与圣上进奉孝道，皆有益而无害。”许翰道：“然有传言，太皇欲行复辟；若如此，圣上将如何办？”李纲闻言，汗流浃背。许翰站起身来，李纲也站起身来。许翰望着李纲道：“可否借宣抚大人纸墨一用？”李纲遂与许翰来到书房。书案上，许翰铺开纸，提笔写到：“杜邮”。写毕，许翰放下笔，望李纲一拜道：“告辞。宣抚大人多多保重。”许翰告辞而去。
杜邮乃秦时大将白起被秦昭襄王处死之地。白起乃郿邑人，战国时期最为著名的杰出军事家、大将。秦昭襄王时，白起大破魏韩联军，攻克楚都郢城，屡破三晋，重创赵国主力。白起担任秦军主将三十余年，攻城七十余座，于作战中料敌如神，出奇制胜，威震六国，在秦吞六国的进程中，功劳不可为不大；然因触怒秦昭襄王之故，被秦昭襄王赐死于杜邮。
看着许翰书写的“杜邮”二字，李纲浑身战栗，汗流不止。与战国时白起相比，自己算个什么？！不就是担当保卫了汴京而已。金人远途而来，粮草供应不上，不可能持久坚持，撤退是肯定的，就是换成其他将领，只要将士肯用命，都可以取得汴京保卫战的胜利，自己有什么资格居功自傲？普天之下莫非王土，率土之滨莫非王臣。伴君如虎，君之所赐，自己有甚想不通的？触怒了圣上，那可不是闹着玩的，会掉脑袋的。
如此想着，李纲一下子就清醒了，赶忙叫来了府邸管家，令其留守，伺机出售府邸，他自己带着家人，连夜去了扬州。
对钦宗毫无迹象地贬黜了吴敏太宰职务，耿南仲、张邦昌、唐恪等人均为想到。当时，他们也大为惊愕，不知圣上为何意；待钦宗接着罢黜了李纲宣抚职务、张叔夜开封府知府职务后，几个奸臣豁然明朗，知道钦宗是拿吴敏开刀，其实是为了拿下李纲、张叔夜。对于钦宗委派秦桧前往宁州逢迎太皇赵佶，几个奸臣一点也没担心，他们知道，秦桧就是个软骨头，只要利益足够大，变节是迟早的，不足畏。
散朝后，几个奸臣佞贼又聚在一起，庆贺李纲被贬黜扬州。