天宝十四年（公元755年），专权十九年的李林甫已死，杨国忠接任右相。杨国忠早就对安禄山恨之入骨，现在他一人之下万人之上。然而，在皇上面前唯一能与他相提并论的便是安禄山，安禄山一日不除他便一日不安，于是，一日早朝便向玄宗皇帝启奏道：“启奏圣上，臣以为如今我大唐边疆安定，可酌情削减一部分军队以减轻国库支出。”
“爱卿言之有理，不过我大唐疆土辽阔如随意削减兵力，一旦有外乱则兵力不济，怕是后果不堪设想。兵家有云：‘养兵千日，用在一时。‘朕以为万不可草率行事。”玄宗道。
“臣以为如今边疆无战事，而军权尽在少数几人之手，就此下去，如，边将拥军自重怕是对我大唐江山不利呀！”杨国忠见皇上不明其意乃进一步道。
“哦！爱卿怕是说安将军吧？国忠你也太多心了。朕和安将军推心置腹，安将军绝不可能拥军自重背叛我朝。请爱卿放心吧！”唐玄宗微笑道。
“安将军统领东北三郡，其部下二十万亲兵战将，谋士千人，且前线有传闻说安将军还在招兵买马，积草屯粮，其行为圣上不得不考虑啊！”杨国忠忧心忡忡的说道。
“哼！果有此事？”
“臣决无虚言。据说安禄山另养一千多名亲信武士取名‘嘎啰啊’为其效力。”
“果有此事？”唐玄宗仍然不相信道。
“臣句句实言，忠言可鉴！”杨国忠激动道。
“不可能。朕待安将军视如一家，安将军怎可能有二心呢？国忠不可胡乱猜测乱了君臣之义。”唐玄宗仍不肯相信，因为他自信安禄山的忠义，记得他曾经见安禄山大腹便便，便有意取笑安禄山道：“安爱卿大腹便便里面装的是何物啊？”安禄山不加思索的答道：“臣腹中装的别无它物，唯有对陛下的赤胆忠心。”唐玄宗想到这些便不再想理杨国忠的言论，只是出于对杨国忠的宠信不好直接驳回他的话。
左相韦见素也对安禄山的行为有所不满，并且也认为安禄山有反叛之心，最重要的一点是韦见素受过杨国忠的提拔，而且此人性格唯唯诺诺，所以杨国忠的意思也就代表了他的意思。于是韦见素出班道：“臣启奏陛下，臣以为安将军雄踞东北三郡且兵强马壮，圣上万不可掉以轻心呐！”
其实很多大臣都对安禄山有所异议，因为安禄山一直以来都不把那位大臣放在眼里，李林甫当权时安禄山倒有所畏惧，这倒不是李林甫有多能奈，而是因为李林甫忌才。在李林甫当朝时谁敢和他争宠？谁要是和李林甫争宠李林甫就放倒谁，所以李林甫当权时始终保持着一人之下万人之上的权利。曾经杨国忠就和李林甫斗过，可惜过不了几个回合杨国忠便败贬四川。也许是该杨国忠出头之时，在杨国忠败贬的路上李林甫死了。一个坏人在世时别人也许不敢说他坏，但是一旦死了谁都说他坏，这就是李林甫的下场。李林甫死了之后玄宗最看重的就是他赐名的杨国忠了，所以杨国忠在贬四川的路上返回京城做了右相。杨国忠在宫中受尽了李林甫的“折腾”，然而有了前车之鉴，杨国忠变得聪明了。就像今天一样他想扳倒安禄山，无非是怕有一天安禄山在朝中的地位超过他。尽管杨国忠口口声声说是为社稷着想，实际是为自己着想，因为以后他的行为就应证了这一点。见韦见素出班启奏，群臣也议论纷纷。唐玄宗平静的看着韦见素道：“韦爱卿，何出此言？”
“安禄山部下广用胡将而汉将较少，这就说明他可以绝对控制其部下将士。而东北多出战马，安禄山借向朝中献战马之机广收良马，而献给朝中的多是劣马且每年的数量渐渐减少，这便足以证明安禄山有不臣之心。”韦见素直言答道。
“臣以为安将军对皇上一片忠心并无谋反之意。”这时护国师札荤雨道。
“何以见得？”现在唐玄宗也不太相信这位护国师。他虽觉得玉真观的事是轧荤雨有意陷害玉真公主，而且六转丹也没有拿到，还血洗了玉真观死了承祯道长，这件事情令玄宗皇帝后悔当初过于草率。
“安将军守卫大唐疆土，使奚、突厥、契丹、回纥不敢来犯，如仅凭众人揣测而废安将军，老臣以为不妥，况且东北守将，不用安将军目前也无合适之将才呀！”轧荤雨辩解道。
“国师之言不无道理。”玄宗虽知轧荤雨是为安禄山说情，但轧荤雨所言确实不无道理，此时玄宗也乱了分寸，他侧眼看了看杨贵妃说道：“爱妃之意如何？”
“妾本不懂国家大事，据宫外传闻安禄山确实有拥军自重之嫌，是否有谋反之意妾就不敢断言，不过，是否要废除安将军之兵权就要由陛下决定。但妾以为对安禄山陛下要有防范之心呐！”杨贵妃道。
杨贵妃一直对安禄山就没有好印象，其实安禄山认她为义母也非她所愿。自从华清池被安禄山侮辱后，杨贵妃虽然慢慢习惯了那种富有激情的生活，但那毕竟是危险的游戏。所以今天皇上问到此事，她趁早表明自己的观点，她那以柔带刚的口气，使玄宗知道安禄山确实心术不正，如不早除恐日后为患。
“爱妃也以为安将军心怀不轨，看来朕不得不防哪！”唐玄宗对满朝文武大臣的言论多半不敢轻易相信，曾经他对李林甫信任有加，可如今李相国已死。上来杨国忠，杨国忠刚上任右相，必为自己权势着想，因此不能凭杨国忠的言论而废安禄山。就是韦见素的那番话，唐玄宗也未必下决心要废安禄山兵权。而现在杨贵妃的这番话使他不得不相信，因为杨贵妃在他心目中是谁也无法替代的。玄宗皇帝沉思半晌后道：“国忠，如废安禄山兵权你可有良策？”
“回皇上，臣以为废安贼之兵权不可硬决，那样可能适得其反，恐怕到时安贼趁机作乱，那样就难以收拾了，因此只可智取。”其实杨国忠早就想好了一套对付安禄山的办法，只等玄宗定夺。
“何为智取？”
“安贼在京城建了东平郡王府，其长子安庆宗与荣义郡主有婚约，因此圣上只要下一道诏书召安贼进京，封他左相之职，令其回京赴任，顺便办安庆宗的婚事。而圣上可借此机会暗中派人接替安贼在幽州、平卢、范阳三郡的兵权，到时候安贼想反抗也无可奈何。”杨国忠把自己的想法滔滔不绝的全盘托出。
“韦爱卿以为如何？”
“此计甚好。”韦见素答道。
“高将军以为此计可行否？”玄宗看了看身边的高力士问道。
“回皇上，老臣也以为此计可行。”高力士也赞同道。高力士知道皇上一直对他相当信任。而他身为宦官多在宫中，因此对朝中之事很少发表意见，高力士也怕一旦出错必会降低皇上对他的信任度。
唐玄宗退朝后便修了一道诏书，当天就派特使飞马送往范阳，安禄山接到诏书喜出望外，他深感皇恩浩荡，也深知皇上对他敢怒不敢言。于是安禄山带着长子安庆宗和几个亲信随从披星戴月的赶往长安城。一到长安城便住进了刚落成的东平郡王府。那东平郡王府气势恢宏，亭、台、轩、榭一应俱全。花草树木错落有致，都说京城除了皇宫便数杨氏各府气派，而如今安禄山的东平郡王府之规模岂在杨氏各府之下。不过安禄山到了东平郡王府之后还是坐不住，因为他还没有拜见他的义母杨贵妃，所以他吩咐众随从和安庆宗留在郡王府，自己独自进宫。安禄山直入后宫，一见杨贵妃，安禄山那顾母子之义乃性大发道：“娘亲，儿臣远在边疆，时时想念娘亲。”
“禄山，为娘也时常想念你呀！只是禄山儿，你远在范阳为娘想疼你也没办法呀！”杨贵妃此次对安禄山的调戏举动非但没有不满之意反而刻意顺从，因为她在这关键之机不想让安贼看出破绽。
“娘亲，这次怎么对儿臣如此之好啊？”安禄山见贵妃举动甚为惊讶，因为平常都是屈意顺从之势，而今日贵妃却主动迎合。
“为娘也想通了，皇上已老，那比得上禄山儿之爱呀！”贵妃媚笑道。
“娘，您终于想通了，禄山一定不辜负娘亲之爱。”安禄山说着已搂贵妃入怀，贵妃没有丝毫不悦之意，安禄山再一次侵占了杨贵妃。
