张皇后大吹枕边风，说公公李隆基的坏话，理由是：这个老不死的东西克死了咱们的宝贝儿子。她不提这事儿倒也罢了，这么一提，肃宗的眼睛当时就红了，心情变得无比烦乱，想起了刚死去不久的十二子兴王李佋。
兴王李佋是肃宗和张皇后所生的第二个儿子。这个小家伙生来聪明伶俐，肃宗十分喜欢。可是，就在上元元年（公元760年）的六月，年仅八岁的兴王李佋早夭而死。肃宗追赠他为恭懿太子，并因此而卧床一个月。
趁着肃宗心情烦乱的当口，张皇后与李辅国一唱一和，把肃宗也搅得将信将疑起来。二人见肃宗没有反对，便派遣心腹日夜监视玄宗的一举一动。
父子之间的嫌隙就此萌生。
转眼之间，七月到了，天气变得异常炎热，酷暑难耐。刚好有西域诸国近贡来西瓜，玄宗一时兴起，便派陈玄礼将一干旧臣召到长庆楼吃瓜喝酒。看到自己的老下属都来了，玄宗的心情越发地好了。众人觥筹交错，喝得十分尽兴。
喝高了的李隆基倚着栏杆，一边儿休息，一边儿俯瞰宫外街市人来人往的热闹景象。他不认得老百姓，但是老百姓都认得他这位太上皇。那些老百姓远远地一看，哎呦，那不是从前的玄宗陛下嘛，欢呼声中赶紧倒头下拜，呼啦啦跪下一大片，场面无比壮观。玄宗见百姓们仍然还记着自己，心中感动，向大伙招手示意，眼泪又掉了下来，一班老臣见此也是感慨万千，唏嘘不已。
这件事很快被李辅国知道了，兴冲冲的来见肃宗，把这事报告给肃宗，说太上皇现在每天都和外面的人联系，而且还召集一班老臣喝酒吃瓜，所谈的都是开元如何如何兴盛、天宝如何如何繁华之类的话，他如此不甘寂寞，恐怕是有什么不可告人的阴谋，陛下你可得早早想法子预防啊！
肃宗听了，并不放在心上，反而替父亲解释，太上皇一大把年纪了，雄心壮志早没了，还能有什么作为，只不过是太寂寞了，找人喝酒解闷而已，辅国，你想得太多了！
李辅国见肃宗这么理解自己的父亲，话锋一转，说即便太上皇没有这样的想法，但是架不住他身边还有一帮煽风点火的小人啊。一旦真发生了什么变故，陛下您该如何应对呢？我觉着吧，兴庆宫距离民居比较近，人多口杂，对太上皇静心休养不利，不如将他安置到深宫大内，这样一来可以远离尘嚣，二来可以杜绝小人。（太上皇居近市，交通外人，玄礼、力士等将不利陛下，六军功臣反侧不自安，愿徙太上皇入禁中）
肃宗对自己的父亲还是了解的，当下就表示反对，太上皇就喜欢住在兴庆宫，怎么能突然把他迁往大内呢？
这个时候，突然有个女人的声音插了进来，李辅国这么说，也是为了大唐的江山社稷啊。陛下您是天下的共主，理应从天下的高度来考虑事情，怎么能固执于愚孝呢？
这当然就是张皇后了，一个女人和半个男人对肃宗展开了疯狂的劝说，但肃宗就是不肯答应。
李辅国见肃宗油盐不进，扭头就走。不要误会，这可不是逃走，也不是气走，而是去搬救兵了。不一会儿，救兵来了，正是当年那些辅佐肃宗灵武称帝的六军将士。这些人在殿外黑压压的跪了一地，强烈要求肃宗把玄宗迁到深宫里面去。不用说，他们肯定是受了李辅国的蛊惑。
李辅国这下说话有底气了，陛下，外面跪着的这些人都是当年咱们灵武的老班底儿，他们如果感到不安，社稷恐怕就要不安了。
肃宗很为难，一个劲儿地掉眼泪，却不说话。事已至此，他还能说些什么呢？
李辅国毕竟是伺候他多年的人，十分了解肃宗，知道他其实已经默认了，便走出大殿，对着众将士说了一句，皇上已经答应你们的请求了，大家散了吧。这帮人见目的达到，随即散去。
李辅国得到肃宗的默许之后，便得意洋洋地带着三百铁骑，来到了兴庆宫外。李辅国亲自进宫，见到玄宗之后，说是皇上有旨，请太上皇到西内游玩。
玄宗自上次庆功宴之后，对自己当时的失态也颇为后悔，这几个月都没见到过肃宗，以为肃宗在生自己的气，此时见儿子主动来请，欣然上马，领着高力士一同出宫，准备好好地玩一玩，散散心，顺带着和儿子好好谈谈，亲父子之间，哪有解不开的心结？
刚刚走到睿武门，就见道路两侧站立着五百禁军，人人手持利刃，虎视眈眈地盯着两人。玄宗觉着不对劲儿，十分不安，就问李辅国到底是怎么回事。
李辅国这才摊了牌，说是皇上觉得兴庆宫太过狭隘，不适合您居住，特命我带人帮您搬家到西内。（陛下以兴庆宫湫陋，奉迎乘舆还宫中。）说罢，也不等玄宗回话，就上前来抓玄宗所骑御马的马绳。
玄宗哪里料到李辅国居然如此大胆，气恼之下，差点儿从马上掉下来。亏了一旁的高力士眼疾手快，赶紧扯住缰绳，否则，今天太上皇的人可就丢大了。
高力士还是比较克制的，强忍着怒气，对李辅国摇了摇手，说搬家归搬家，礼仪还得讲，你怎么能惊动太上皇的御驾呢？
想当年，高力士称霸后宫的时候，李辅国还只是一个不入流的小角色。但如今，时过境迁，高力士的时代已经结束了。现在的后宫，李辅国说了算。李辅国根本就不买老前辈的帐，反而呵斥高力士“翁不解事！”
高力士被李辅国的傲慢与嚣张彻底激怒了，大喝一声，“五十年太平天子，辅国欲何事？”