服！”
宪宗看向李绛，李绛道：“自古政治清明，都是崇尚德行而非依靠峻法，难道现在要舍弃周成王、周康王、汉文帝、汉景帝这样的明君不学，而去模仿秦始皇父子吗！”
过了十来天，前山南东道节度使于頔也上疏劝宪宗使用严刑峻法。宪宗拿着于頔的奏疏对众宰相说：“这个于頔，真是大奸臣。居然敢劝朕推行严刑峻法，卿等知道他是什么意图！”宰相们互相对望，没人答话。
宪宗继续说：“我看无非是想让朕失去人心，做个暴君！”
话音刚落，李吉甫面色大变。退朝后，他一整天都情绪低落，没说一句话。
李吉甫与李绛数次当着宪宗的面争论，而另一位宰相权德舆却夹在中间不置可否，宪宗鄙薄他的骑墙做派，将他免去相位，把前宰相、西川节度使武元衡调回朝中，继任担任宰相。
与李吉甫刻意讨好宦官的做法不同，李绛极为反感宦官，曾当众陈述吐突承承璀的专横跋扈。宪宗当时想要拉拢文臣，对他表示了支持态度。而宦官也因并未触及他们的整体利益，没有过分追究。
元和七年（812年），吐蕃进犯泾州，李绛提出把驻扎于边陲的神策军各部转隶给邻近藩镇，以便统一指挥。
神策军是皇帝直接掌握的武装力量，其军事首长自德宗开始已全部由宦官出任，是宦官最为看重的利益。如果说针对吐突承璀只是个人之间的好恶，但此举无疑触动了宦官集团的整体利益。这些人散布于宪宗身边，与宪宗朝夕共处，有的是手段让宪宗对李绛产生反感。
元和八年（813年）七月，河套地区黄河泛滥，冲垮了位居漠南的西受降城。
振武节度使李光进奏请重修城池，同时一并治理河防，以上约需经费二十一万缗。
李吉甫的意见是与其修城不如迁城，提议将驻扎在西受降城的士卒安置于天德故城——今内蒙古自治区巴彦淖尔市乌拉特前旗——用以节省开支。
李绛与户部侍郎卢坦认为：“受降城是当年朔方道大总管张仁愿为防御突厥所筑，城池占据交通要冲，水草丰美，利于稳边。如果是为了防范水患，退上两三里就足够了。为什么要为了节省一点点开支，而舍掉万世久安的要地！”
“何况天德故城位置偏远，土地贫瘠，烽火斥候不能互相支援。一旦遇有敌袭，朝廷无法及时知情。这样一来，等于无缘无故放弃了两百多里领土！”
但这次宪宗却采纳了李吉甫意见，下诏把西受降城转隶给了天德军。
宪宗在朝会时询问宰相：“有人说朋党之风盛行，这是怎么回事？”
李绛答：“自古以来，君王最忌讳的莫过于臣子拉帮结党，所以小人在诋毁君子时一定诬称他们结党。为什么呢？结党的事说起来可恶，追究起来却又无迹可寻！东汉末年，但凡稍稍贤明些的臣子，宦官们都拿结党的罪名来禁锢他们，结果把国家搞亡了。这都是小人陷害君子的言论，希望陛下明察！君子本就应与君子相合，怎能非要他们与小人愉快相处，然后才说是不结党呢！”
李绛的这番言论，既指责了宦官，也暗讽了李吉甫，让一众阉人对他恨之入骨，不停的在宪宗面前搬弄是非。
元和九年（814年）正月，李绛迫于压力，以足疾为由申请退休，被免为礼部尚书。
李绛一被免去相位，宪宗立刻把淮南监军吐突承璀调回朝中，出任弓箭库使、左神策军护军中尉。
由此可知，在皇帝眼里，宰相不过是个想用就用、想扔就扔的工具，而宦官才是长久陪伴他们的家人！
做了礼部尚书的李绛并没有因此沉沦，仍在尽心报效朝廷。
不久，回鹘可汗遣使请婚。宪宗因为公主出嫁花销太大，没有答应。