卢杞，出自范阳卢氏，生于滑州（今河南滑县）。祖父卢怀慎是玄宗时期宰相，伯父卢奂、父亲卢奕均为朝廷三品高官。卢奂为官清正廉明，玄宗曾题书褒奖他：斯为国宝，不负家风。卢奕在安史之乱中遭叛军生擒，宁死不屈为国殉节，号称忠义。
卢杞生长在这一具有光荣历史的家族中，依靠祖先功勋入仕，历任兵曹、鸿胪寺丞、殿中侍御史、刺史、御史中丞等职。史书称他相貌丑陋，面色如蓝；而他父亲却长的眉目疏朗，颇有气质。父子两人容貌差距过大，颇有些耐人寻味。
卢杞除了家庭背景显赫，其他没什么能拿的出手的东西。能力一般，心胸狭隘，头脑奸滑，很不讨人喜欢。《资治通鉴》中对他前半生的记载寥寥无几，唯一优点就是口才不错、强于辩论。
对于这样的一个人，德宗不知出于什么原因一直很欣赏他，在上任第三个年头，也就是建中二年（781年）二月，就将卢杞提升为御史中丞兼京畿观察使，让他主政御史台替自己弹纠文武百官，并统管长安周边各地。
期间，郭子仪身体有恙，卢杞前去探望。郭子仪立刻将身旁服侍的姬妾们赶走，独自一人在房间接见。事后，有人问这是为什么，郭子仪答：“小卢他相貌丑陋心地险恶，如果我的那些女人们不知深浅取笑了他，一旦让他掌权，那我郭家满门可就完了。”
郭子仪一生阅人无数，又与卢杞父亲同朝为官，对卢杞这个子侄辈自然熟悉不过，他对卢杞“心地险恶、报复心强”的评价非常准确！
那么卢杞又是如何做上宰相的呢！这还要从杨炎说起。
杨炎自担任宰相后一直自我感觉良好，加之崔佑甫病故无人制约，变的愈发膨胀。在向德宗汇报工作时都表现的相当倨傲，特别是他陷害刘晏、又甩锅给德宗的处理方式，引起德宗强烈不满，动了除掉他的念头！而做这件事，心狠手辣的卢杞自然再合适不过！
三月十六日，德宗将刚升任御史大夫不久的卢杞，任命为门下侍郎兼同平章事，让他与杨炎搭班。
卢杞个子矮、容貌丑、没什么文化，像杨炎这样长相帅、有才华、能力强，且自视极高的人自然瞧不上他，但因唐朝实行的是群相制，卢杞再不堪也是皇帝亲自提拔上来的，杨炎有意见也不好明说，只得对卢杞采取“冷暴力”。
两人同为宰相，杨炎平时正眼都懒得瞧一下卢杞，甚至连在食堂吃饭都要托故不与卢杞同桌，害怕玷污了自己的清高身份。
小心眼儿的卢杞恨透了杨炎，他可不像刘晏那么好欺负，论起处理朝政他是比不上杨炎，但若论起害人，自以为是的杨炎真还差点劲！
六月份，山南东道节度使（治湖北襄阳）梁崇义屡次拒绝朝廷征召他入朝的旨令，并公然在境内派出军队拦阻朝廷使者。德宗见他不知好歹，诏令与山南东道交界的淮西节度使（治河南驻马店汝南）李希烈为兵马招讨使，督率各道军队讨伐梁崇义。
诏令已经下达，杨炎对此持有不同看法，面见德宗提出，李希烈此人桀骜不驯不太靠谱，他的养父李忠臣当年对他恩重如山，他还居然出兵赶走李忠臣抢夺了节度使位置。如果让他去征讨梁崇义，仗没打赢还好，一旦让他立了功，恐怕会养痈遗患，再也难以控制！
杨炎对李希烈的狼子野心看的很准，可惜德宗并不这么认为！
德宗觉得李希烈的节度使任命连同旌节，都是由他这个皇帝亲自颁布授予的，派去宣布命令的宦官收了李希烈的礼，还让他惩治了一顿，于情于理都应对他德宗感恩戴德。
何况李希烈比较年轻，这一年刚满三十一岁。政治上又比较清白，没那么多的复杂背景，容易受到朝廷感化，成为忠于大唐的藩镇主帅。加之在征讨梁崇义一事上，李希烈表现的非常积极，多次