在太宗皇帝为李治安排的顾命三臣中李绩是最特别的存在，他极少与长孙无忌和褚遂良为伍，也就是在高阳公主和荆王李元景代表的宗室谋逆中李绩短暂的站在了长孙无忌的一派，除此之外李绩大部分时间都和长孙无忌保持着距离，对长孙无忌和褚遂良谋划的事也一直秉持置身事外的态度，按李绩夫人的话就是李绩“不与长孙监国和褚遂良为伍”，在很多朝臣的眼里司空大人甚至没有一点顾命大臣的模样，给人的感觉就好像先帝的顾命大臣只有长孙无忌和褚遂良二人，在这两人的威势下李绩没有多少存在感。
可实际上不论是李治还是长孙无忌、褚遂良都不会轻视李绩的存在，因为李绩是可以和大唐军神李靖相提并论的大将军，大唐以武立国，李绩这样的武将就是这个国家最为倚重的根基，这也是太宗皇帝会在临终前特别嘱托李治重用李绩的原因，只可惜李治从即位到现在一直请不动李绩这一尊大神，即使是在李治想要对高句丽一战却无将可用的时候，李绩对李治的渴望也一直无动于衷，逼不得已之下李治只能殿外选将找到了二十三年无立寸功得苏定方，好在李治赌赢了，也算是阴差阳错之下得到了一位难得的名将，在对西突厥一战的时候李治也就乘胜追击继续用苏定方，只是因为王文度矫诏错过了破敌的良机，小胜而归。
但这并不能代表李治有了苏定方就不希望得到李绩的支持，苏定方再优秀现在也只是老树开新芽，枯木逢春，名声虽有，但只算武将新贵，年龄虽有，但资历尚浅：这时候的苏定方只是打了两场胜战的老将，远没有达到自己在历史上的高度，与之形成对比的李绩就好像是大唐武将的常青树，这也是李绩即可以不与长孙无忌为伍，又让李治用不动的凭借。
在太宗皇帝的托孤中也是有一定的心思存在，顾命三臣三分皇权，长孙无忌和褚遂良二人为文臣，李绩为武将，只要不发生三人同流合污的事，那长孙无忌和褚遂良一加一就大于李绩的一，二人遏制一人，李绩虽有兵权，也要受制于二人，反过来也一样，李绩手中有兵权，虽然实权小于长孙无忌的二人，却也能用兵权钳制二人，太宗皇帝虽然是君，但君子也要有防人之心，至于假如真的出现了三人同流合污的事，别说李治了，就算是太宗皇帝自己都很难解决，那李治只能自求多福，所以对于这种防不住的极端情况太宗皇帝直接忽略过去，还因为太宗皇帝相信长孙无忌，（不相信也没办法，他还能不死咋的）这就是李绩说的权宜之计。
可是现在这种情况发生了变化，李绩把太宗皇帝送给他的天子剑归还给了李治，而这把剑象征着李绩手中的兵权，也象征着是李绩对李治的效忠，在现在这个牵一发而动全身的特殊时刻，前有李治废后，后有褚遂良请罪自贬，这就代表着李治和长孙无忌的皇相之争格局在一进一退之间发生了重大变化，可以说李绩这是给了已经痛失褚遂良的长孙无忌又一次沉重一击，试问在场之人谁不震惊？
李治颤抖着双手打开内侍监取过来的木盒，里面的天子剑李治熟悉又陌生，熟悉是因为这把天子剑是太宗皇帝的贴身佩剑，李治在做太子的时候时常接触，在太宗皇帝驾崩后这把剑就代表着先帝，陌生是因为在父皇驾崩之时，把这把剑分成了三分赐予了三位顾命大臣，李治虽是天子，却不曾拥有天子剑，现在好了，天子剑的三分之一终于回到了自己的手中，而且还是最为重要的兵权，即使李治想要喜怒不形于色也做不到了。
还有一点是李治没想到的，在在之前李绩明明是不想参与这一次的皇相之争，所以才会“因病缺席”紫宸殿议事，没想到在经过武贤妃的一次拜访之后李绩就改变了主意，虽然如意过去已经让李治大开眼界了很多次，但这一次李治依旧感慨，父皇有母后的帮辅，这才有了明君贤后的名誉，自己也不差，在李治的心里如意堪比长孙皇后。
而长孙无忌和褚遂良，如果他们刚才的脸色是难看，现在则是有了一些颓败的灰色，他们以为李绩依旧会“因病缺席”置身事外，没想到李绩直接归还了先帝的天子剑，这是要还政于朝，既然这样那废后之事只怕也危矣，难怪刚刚崔敦礼问李绩对废后之事怎么看，李绩是不停的咳嗽，众人还以为李绩疾病未愈，没想到是这样的突然一击。
这就是褚遂良和李绩不同的选择，褚遂良把自己在太宗皇帝三分皇权时得到的剑鞘交给了长孙无忌，而李绩却在同一时间把天子剑交给了李治，不同的选择注定了两人不同的结局。
在褚遂良还没有从李绩给他的震惊中回过神的时候内侍监就得到了李治的眼神指示。
内侍监于是咳嗽一声道：“咳，各位大人，皇上有旨，接下来商议废后之事，咳，褚大人，既然褚大人请罪之事已经有了决断，那褚大人就不适合继续留在紫宸殿中和诸位大人一起参与中枢议事，还请褚大人自行离去，至于外迁潭州之事褚大人等皇上的旨意就好了。”
褚遂良愣愣的看着要把自己“赶出”紫宸殿的内侍监，从现在开始自己就不再是中枢七相之一了，褚遂良看着内侍监，看着李治，看着不看自己或者惭愧的看着自己的一干老臣，看着紫宸殿的一梁一柱，一桌一椅，一面屏风，一扇窗户。
褚遂良从来没有想过自己有一天会以这样的方式离开这里，从被太宗皇帝看重做侍书（秘书）开始，褚遂良在紫宸殿中议事已经有了二十多年的时间，可以说褚遂良熟悉紫宸殿的很多东西，他也想过自己在这里告老还乡的那一刻，却没有想过现在自己就要被从这里赶出去，褚遂良的心里顿时空荡荡的，像是失去了什么重要的东西，长孙无忌说会寻机把自己召回来，可是李绩的出现让褚遂良开始担忧自己回来的可能性，自己还有机会回到紫宸殿吗？
想到这里这位太宗皇帝身边忠心耿耿的老臣就好像塌了肩膀，弯了脊梁，然后一言不发，一个字没有留下，一步一步的走向紫宸殿的门口，一步一步，一步一年，在褚遂良走到门口的时候他仿佛真的成了一个年迈的老臣，然后扶着紫宸殿的门柱走出了大殿，这象征了先帝老臣在李治朝的第一次退幕。
在褚遂良离去之后，众人心知肚明接下来的事就是已经两次协商失败的废后之事，只是现在有了李绩这个突发因素，大家各自心怀鬼胎。
在褚遂良离去之后李治也算是长出了一口气，之前的两次废后协商褚遂良都是反对废后的先锋，现在没了褚遂良，李治压力小了很多。
在李治开口继续询问大家对废后之事的态度之后，中枢六相果然发生了变故，没有了褚遂良也就没人先站出来打头阵，无奈之下长孙无忌知道自己躲不过去，再说了他是顾命大臣，是监国，现在这里也是他的身份最高，他不说话谁都不适合先说话，但长孙无忌对废后的态度不变，他不同意废后。
在长孙无忌之后是韩瑗和来济，这两个人眼看褚遂良被贬，反对废后的锐气也少了一些，他们在自己原来的强硬立场上做出了些许退让，于是道：“皇上，就算是要废后，但废王立武这件事还是需要审视，因为选择皇后人选要慎重，武贤妃声名有缺，资质不够，恐怕不足以为后。”
韩瑗和来济二人的立场已经从阻止废后到了可废后，但皇后人选需要商议上，废王可以，但立武有待商榷，这就是一种退让。
韩瑗和来济说话的时候一直在看着长孙无忌，他们不明白现在长孙无忌还死咬着反对废后干什么，眼看废后之事已经不可阻止，倒不如退一步同意废后，然后全力控制新皇后的人选这才是上策，长孙德妃不就是长孙无忌应该鼎力支持的人吗？长孙无忌难道是不想支持长孙德妃上位不成？韩瑗和来济心中有些急，也有些不懂，他们认为这个办法可行，在废后上他们做出了让步，那新皇后人选李治也要做出让步才对。
他们却不知道长孙无忌也是有苦难言，因为长孙无忌知道王皇后不孕的真相，这也是德妃始终不孕的真相，这说明李治压根不想德妃生孩子，孩子都生不出来还怎么做皇后？所以德妃做不了皇后，长孙无忌明白韩瑗和来济的想法，但这个想法注定不能实现，所以他只能直接反对废后，这是长孙无忌没有说出真相不可避免的和韩瑗、来济产生了误会。
而崔敦礼和于志宁二人却是不约而同的选择了沉默，既不说赞同，也不说不赞同，这不是沉默是金，也不是长孙无忌惯用的冷处理方式，只怕是要选择退出议事立场，选择中立了，这更是一种退让。
长孙无忌看着态度各异的其他人，他没想到只是走了一个褚遂良，自己这些人就成了这个支离破碎的局面，韩瑗和来济选择退让一步同意废王而不立武出自上一次议事褚遂良所言，本就是他们不想和皇帝闹僵的退路之一，逼不得已那就可废王不立武，现在这个局面，褚遂良被贬，李绩还政于朝，他们认为自己需要做出退让了。