时就喜欢兴庆宫，当了太上皇重返长安后仍居住在那里。兴庆宫距肃宗所在的大明宫不远，肃宗于政事之余，经常到兴庆宫探望父亲。
此时陪在玄宗身边的，是他当年的两位亲近老臣，左龙武将军陈玄礼及内侍监高力士。肃宗为了监视父亲，又让姑姑玉真公主、女官如仙媛，宦官王承恩、魏悦以及梨园弟子常娱陪伴在玄宗左右。
玄宗时常亲临长庆楼，百姓经过楼下总会对他瞻仰拜见，高呼万岁，玄宗便会派人赏赐给他们酒食，还曾设下酒宴招待将军郭英乂等人。特别是遇到蜀地官员进京办差，他会让玉真公主、如仙媛做主人，热情款待他们。
李辅国出身微贱，虽然现在大权在握、气焰嚣张，但在高力士这些牛人眼中，不过是个暴发户而已，谁都没把他当回事，言谈举止间充满了对他的不屑。
李辅国愤懑不平，憋着劲儿想要报复。他知道肃宗表面上对父亲装出一副孝顺模样，心里却无时不在提防父亲会重新夺回皇位。
于是他瞅准机会劝肃宗：“上皇在兴庆宫里每天都与朝臣们交往，陈玄礼、高力士两人更是心怀叵测。如今六军将士全都是来自灵武的功勋，担心上皇复辟会除掉他们，人人惶恐不安。臣曾多次向他们解释劝慰，却始终无法打消他们的顾虑，不敢不向您禀明！”
肃宗知道父亲天天只是饮宴作乐，并不相信李辅国的话。李辅国脑子转的极快，马上把目标转移到高力士等人身上，接着挑唆说：“上皇是没这个意思，但他又怎能挡的住身边那些小人！陛下您是天下之主，应当为国家考虑，除祸乱于未萌！兴庆宫毗邻街市，城垣低矮，不适合上皇居住。皇宫内戒备森严，您将他请进来，不比兴庆宫要好！关键是还能隔绝那些别有用心之人对上皇的蛊惑。如此一来，上皇得以颐养天年，陛下也可常伴左右，这样难道不好吗！”肃宗担心父亲责备，仍未采纳。
李辅国没能说服肃宗，便又另想他法。
兴庆宫原有三百匹马，李辅国矫诏让人牵走，只给玄宗留下十匹。玄宗无奈的对高力士讲：“我儿子已被李辅国所惑，不能再像以往那样尽孝了！”
李辅国利用执掌禁军之便，唆使六军将士号哭叩头，请求肃宗把上皇接进皇宫，肃宗还是不肯答应，这下让李辅国有些害怕了！
恰在此时，多年劳心费神的肃宗罹患重病，身体精力大不如前，失去约束的李辅国更加有恃无恐。
，！
七月十九日，他矫称得到肃宗旨令，迎接上皇到宫中游览。
抵达睿武门时，李辅国指使五百射生骑兵，露出兵刃拦路启奏：“皇帝因兴庆宫狭窄潮湿，请上皇迁居大内。”
玄宗受到惊吓，几乎坠落下马。高力士厉声喝道：“李辅国你怎敢无礼，给我下马！”
高力士虽然年迈，余威犹在。李辅国不敢造次，乖乖下马站立一旁。高力士郎声传达太上皇诰令：“请诸位各安其份，不要乱来！”众人当即收起兵刃，跪伏于地高呼万岁。
高力士命令李辅国与自己共同为玄宗牵马，进入皇宫，住在甘露殿。李辅国带人离去，只给玄宗留下数十名老弱士卒担任护卫。至于陈玄礼、高力士，以及兴庆宫原有人员则一律不得入内。
当天，李辅国带着六军大将身着白衣拜见肃宗，向肃宗请罪。肃宗重病缠身，担心得罪六军众将，勉强安慰道：“反正都是皇宫，住在哪里都一样！你们忠于国家，防微杜渐，何罪之有！”
肃宗这样说，无疑是认可了李辅国的做法。李辅国索性一不做二不休，劝说肃宗下诏，把高力士流放巫州（今重庆巫山），王承恩流放播州（贵州遵义）。勒令陈玄礼退休，将如仙媛安置于归州，玉真公主逐出皇宫到玉真观居住。
高力士跟了玄宗数十年，对