究竟这场兵变的主谋是谁？从表面看，有的认为是禁军首领陈玄礼；有认为是皇太子李亨的。其实都没说准要害。皇太子与杨国忠势不两立，他却无权指挥禁军。陈玄礼可以指挥禁军，但他与杨国忠并无直接的矛盾冲突，杀死宰相，围驿逼君，这是谁干的呢？冒着杀身灭族的风险。
很明显，事变的主谋，就是高力士。他长期以来，实际上控制着宫卫禁军；他长期以来，内心反对李隆基委权于宰相，并几次进谏；他明白杨国忠要让李隆基入蜀避乱，而杨国忠身兼剑南节度使之职，蜀地实际上是杨国忠的势力地盘。所以，为了不受制于人，必须在入蜀之前，除掉杨国忠。而缢杀杨贵妃，是为了斩草除根不留后患。在兵变中，陈玄礼是从谋和实施者。至于皇太子，顶多只是预闻并赞同。
李隆基在6月15日，准备继续西行时，百姓拦皇驾，请求留下皇太子，统帅军民东向讨贼，收复京城。李隆基同意分给太子一半兵马，急速西行，经过四十多天的翻山越岭长途跋涉，到达成都。李隆基在四川安全地躲避了两年时间，后在高力士和陈玄礼的护卫下，又返回已经收复的京都长安城。
李隆基在马嵬事变后与皇太子李亨分兵分途，李亨会合从潼关败退下来的部分兵马，兼程北上，赶到朔方节度使的治所唐朝精兵集中的地区灵武(今宁夏灵武)。7月13日，李亨在灵武即位称帝(肃宗)，改年号为“至德”，然后调集部署各路军队，一路进兵河北，一路收复长安。8月12日，灵武派来的使臣到达成都。李隆基得知太子即位，尊自己为太上皇，对高力士说：“吾儿继承大位，顺应天意民心，改年号为至德，是孝而又孝的意思。你和朕还有什么可忧虑的呢？”
高力士心情沉重地说：“陛下亲理朝政四十多年，天下太平无事。突然之间两京失守，百姓流离，西蜀和朔方成为两个皇帝暂居之地，黄河南北直至汉水的大片河山变成战场，天下臣民，无不痛心疾首。而陛下却对臣说还有什么可忧虑的！臣实在不敢赞同。古人曾经说过皇上忧愁是臣子的耻辱，皇上蒙受耻辱臣子就该身死。为皇上之忧而耻，为皇上之耻而死，是做臣子的本分。微臣不孝不忠，枉活到今天，听了陛下刚才的教诲，臣深感不安。”随驾在蜀避难期间，李隆基封高力士为齐国公。返回长安后，又授开府仪同三司。
肃宗指挥大军于至德二年(757)9月，收复了长安。随即派人入蜀奉请太上皇返京。当高力士和陈玄礼护卫李隆基沿旧路于11月返至凤翔时，随驾禁军只剩下约600人。肃宗派亲信宦官李辅国带3000精骑迎驾。稍作休整后，李隆基在骑兵簇拥下，三天后进入长安。肃宗为太上皇组织了盛大热闹的迎接仪式，让他仍居于兴庆宫。
这时的李隆基，已是73岁的老翁了。宫殿依旧，人事已更，他真正成了“高居无为”之人，不再管理天下事务了。次年冬天，李隆基与高力士来到临潼华清宫重游，昔日的繁华景象，已变成满目凄清。对杨贵妃的思念，使李隆基的清静日子过得不快乐。
虽然，安禄山已被儿子安庆绪杀死，但叛乱并未平息。肃宗忙于军政，还不时前往兴庆宫看望李隆基。为了让他过得快乐，肃宗命女道士玉真公主(李隆基之妹)、旧宫女如仙嫒、内侍王承恩和魏悦，一些梨园弟子，同高力士、陈玄礼一起陪伴侍奉在兴庆宫内。兴庆宫南面的长庆楼，下临大道。过往的百姓，看到太上皇在楼上时，总要参拜欢呼“万岁”。李隆基也常在楼下设宴招待这些臣民。有一次，遇到四川来京奏事的官员，就由玉真公主和仙嫒作主接待，赏赐酒饭。在受到太上皇接待的人当中，有羽林大将军郭英义。这件事引起了性情多疑的肃宗的敏感。特别是乾元二年(759)，官军在相州(今河南安阳)吃了一个大败仗，叛军重占了洛阳，形势不容乐观。于是，李隆基的这些举动，使得肃宗心疑他与外人交往，将有所图。宦官李辅国也乘机进言道：“南内(兴庆宫)可能有别的图谋。陈玄礼和高力士会利用太上皇的威望，不利于陛下。”接着，李辅国又鼓动禁军将士叩头号哭，清将太上皇安置到西内(太极宫)。肃宗心中忧虑而伤感，沉默无言。
李辅国以肃宗的名义，于上元元年(760)7月18日，将兴庆宫中的300匹御马撤得只剩下10匹。李隆基也无可奈何，对高力士说：“吾儿被李辅国所迷惑，不能尽孝至终了。明早你与我一起到北内(大明宫)去。”
高力士次日一早，陪着李隆基来到大明宫。肃宗派人传话：“近几天患疹病，不能亲起拜迎。请太上皇在这里吃早饭。”饭毕，肃宗又传话：“请太上皇先回兴庆宫。”
李隆基士一行出了大明宫，没走多远，身后传来急促的马蹄声。回头一看，只见李辅国带着几百名铁甲骑兵，手持白刃，冲过来将他们四面围住。李辅国大声喊道：“皇上觉得兴庆宫地势低下狭窄，让我迎太上皇迁到西内去。”说着上前来抓李隆基的座马。事态突然，差点跌下马来。高力士急忙喝道：“李辅国不得无礼！”
李辅国对高力士骂道：“你这老家伙还不知趣，给我闪开！”说着手起刀落，砍了高力士身边的一个随从。而高力士毕竟是经历过大场面的人物，他奋不顾身冲上前去，抓住李隆基的马缰绳，大声争执道：“李辅国，你怎么可以如此惊吓太上皇！不管有什么变化，也不能不讲朝廷礼仪。你赶快下马，高力士对李隆基说。”李辅国本是出身低贱的飞龙小儿，在老皇帝和老上司面前，还未曾敢有半点张狂，只好下马行礼。
高力士又转身对骑士们说道：“太上皇让我向大家问好！”骑士们一齐收起刀剑，下马拜伏，高呼“万岁”。接着，高力士又叫李辅国和他一起为太上皇牵马，来到太极宫。
李辅国走后，李隆基老泪纵横，对高力士说：“今日要是没有你，我就成了刀下鬼啊！”直到天快黑时，才有十几名老宫女带着李隆基的日用起居衣物，其他的随从一见，都哭了。
李隆基当晚，就在甘露殿安歇。他睡不着，叹息了几声，对高力士唠叨：“兴庆宫是我做藩王时住的地方，我几次让皇儿去住，他仁义孝顺，不肯接受。今天虽说是被李辅国逼着离开了，也正合我的本意。力士，你吩咐管膳食的，从明天起，不要再做肉食荤菜，斟酌做些清素饭菜就行。”
高力士第二天起来后，让宫女们打扫殿庭，清除杂草，收拾清洁之后，陪着李隆基谈论佛教与道教的经义，免得他感到太寂寞。高力士想法子找些杂七杂八的话题，希望他能够高兴，不想迁居不愉快的事情。
高力士在几日后，患上疟疾，搬到不远的功臣阁去养息。有天傍晚，门外传来人声，高力士隔门一问，才知是宦官啖庭瑶，声称是皇帝传唤力士。高力士忙问：“你见过太上皇了吗？”啖庭瑶回答说：“刚见过了。”
高力士不敢怠慢，跟着啖庭瑶来到宫门外，等了一会，一名宦官拿出一卷文书递给他。高力士一看，上面写的是应该免职的文字，不等他看完，文书就被要了回去。高力士心中早就有所预料，就求那个宦官传话给肃宗说：“臣早就罪该万死了，只因皇恩浩荡，才活到今天。不过文书上所列罪状，我实在不知道。臣只有一个心愿，就是能亲自向太上皇告别，然后受刑，死而无怨。”
肃宗在第二天，颁下诏书，严词斥责高力士：“私通逆党，暗助凶徒，怀无君无父之心，应处杀头之刑。姑念其长期在宫中侍奉，效有勤劳，且免死罪，削去官爵，流放巫州。”
俭朴忠厚的禁军老将陈玄礼与此同时被迫退休回家。原来在兴庆宫侍奉太上皇的宦官王承恩被流放播州(今贵州遵义)，魏悦被流放溱州(今四川綦江)，如仙嫒被流放归州(今湖北秭归)，玉真公主被令重返道观。可怜垂暮老弱的李隆基身边，连一个相伴的旧臣也没有留下。随后，肃宗另派了百余名老弱宫女，担任太极宫的洒扫杂役；让两个妹妹(太上皇的女儿)万安公主和咸宜公主，负责照料饮食住行。
李隆基被迁居西内，实际上是被软禁起来。高力士等人被贬逐之后，李隆基的精神也垮了下来，他的心情抑郁，自然积成疾病。在太极宫住了一年又八个月后，李隆基于宝应元年(762)4月5日，病逝于神龙殿，享寿78岁。过了十三天后，4月18日，长期染病的肃宗皇帝也追随其父之后驾崩，享年52岁。两天之后，新皇帝代宗即位。
自上元元年(760)7月28日高力士被除名流放。从京城长安到巫州(今湖南黔阳境内)，行程3100里，一路涉水渡河，爬山越岭。上元二年(761)10月。黔中道巫州。南国的秋色，草木苍郁葱茏，生机盎然。在州城外的一道山坡下，走着几位信步踏游之人。其中一位年迈的老者，步履沉缓，面含沉思。他就是太上皇(李隆基)李隆基在位时的宦官首领高力士。
走在前面的一个随从叫道：“高公，您看，对面像是来了几骑人马。”
高力士举目望去，确有几骑人马踏起尘土奔驰过来。说话间，来人已到跟前，为首一人大声喊道：“请问高公在此？”
来人原是去年2月贬官流放夷州(属黔中道，今贵州凤冈)的第五琦(字禹谞)。他两年前官居宰相，因为得罪了当朝皇帝(肃宗)的亲信宦官李辅国，被贬流到这荒凉边远之地的。
第五琦勒马下鞍，一边施礼，一边问安：“高公，这一年来身体可还康宁？”
高士力还礼答道：“垂垂老暮，一日不如一日啊。”
两人相见，同是天涯沦落客，不由得引起心中万千感慨，遂与从者来到城边酒店，且饮且聊，消解愁肠。几杯水酒下肚，高力士对同座众人说道：“小人当道，贤良受谗。以第五公宰相之高位，尚且不能幸免此难，其余官职低下者，就更不必说了。”
第五琦关切地探问道：“高公，近来有京城方面传来的消息吗？”
高力士长叹道：“这巫州之地，蛮荒僻远，交通阻塞，京城消息传递到此，少说也得两月时日。老朽日夜翘首盼望，度日如年！”
“烟熏眼落膜，瘴染面朱虞。老身已是来日苦短，看来真的是要客死于此了。”
第五琦说了许多宽解抚慰的话，观天色不早，这才与高力士相揖而别。
秋去冬来，冬尽春至。山野田间，滋长出一片片嫩绿色彩。一天，高力士偶尔在园中看到长有许多荠菜。当地居民，尚不知晓这野生植物可以食用。他让随从采来做成粥汤。许久不吃荠菜，其味格外新鲜，高力士乘兴赋诗一首：
两京秤斤卖，
五溪无人采。
夷夏虽有殊，
气味终不改。
诗中文字虽是吟咏荠菜，实则是他的心中慨叹。不论是在京城还是在巫州，他效忠大唐和太上皇(李隆基)李隆基的赤诚之心永不变。
年近八旬的高力士，身衰力弱，老态龙钟。以待罪之身，心怀忧愁，登山远望，临水闲步，消磨时日。远离京城，就远离权利争斗，早已是无职无权之人，何必再为国事忧劳。可高力士，身处静地心中却未安然。回首往事，高力士晚年贬流后处在悲惨苦难的生活之中。高力士身边从者不过10人，所带衣物粮食只够数月用度。历经两月之久，于9月30日才到达巫山。
高力士在巫州首尾三年时间中，忧惧度日，强打精神，期盼着赦令下达。早在官军收复长安之后，李辅国就已蒙蔽肃宗，专权胡为。凡是被李辅国一伙整治的人，先抄没其家财，不判死刑就被流放。五六年间，先后被流放到黔中道各州的人，上至郡王，下至州县官吏，多达两千余人。等到代宗即位后大赦放还的人，只剩下十分之二三了。古人有言道：一朝天子～朝臣。不信任并排斥前期旧官，是新老皇帝权力交替之际的一种普遍现象。高力士等人就是其中的牺牲者。在巫州期间，与其他被流放的人同病相怜，来往颇多。时过境迁，高力士将亲身经历过的事情，讲给大家。曾经在史馆供职的柳芳，将高力士所谈，编写成《问高力士》。太原人郭浞获赦后，在代宗朝任过大理寺直和户部员外郎，他将高力士叙述的旧事，撰成《高力士外传》一书，流传后世民间。
肃宗在宝应元年(762)3月28日，颁下一道诏令：所有贬官流放的一律放还。肃宗还在驾崩的前两天，又因改年号(宝应)再次大赦天下。到了6月，皇帝的诏令传到巫州，高力士，惊喜之后，立即起程北归。7月，当他行至朗州(今湖南常德市，距京城2000里)境内时，才得知二圣(李隆基、肃宗)已经相继驾崩。
在流放期间高力士一个重要精神支柱，是有朝一日赦归京城，与他一生忠心侍奉的太上皇李隆基相见。满怀希望和喜悦的高力士，得知李隆基仙逝而去，难以承受的迎头打击。他面向京城，号天哭地，几次哭得气绝昏倒在地。
高力士的唯一心愿，就是早日回归京城，在李隆基的灵前哭祭亡魂。高力士抱病赶路，日夜兼程。他的垂暮之身和哽咽感伤的精神，难以再支持下去了。高力士一行于8月18日宿于朗州开元寺西院，他感觉大限已到，便强打精神对同路的郭浞等人说道：“我今年79岁，已算是长寿了；显达时官至开府仪同三司，也算是贵极人臣了。既显贵又长寿，死去还有什么可遗憾的！唯一的抱憾就是不能亲临二圣灵前号哭祭拜。现在，我要成为这荒远僻地的野鬼游魂，孤独无依，不知要飘泊到何时……”高力士说着老泪长流，呼出了胸中最后一缕气息而病亡。
高力士病死的消息，由当地官府奏报到京城。高力士的灵柩于9月从朗州起运。11月，到达襄州(今湖北襄阳)时，代宗特下的诏书传至：念高力士是先朝的耆宿忠臣，今恢复其生前官职爵位，并追赠扬州大都督；灵柩运回京城，陪葬于李隆基陵墓；朝廷供给支付丧事等费用。
长达七年多的安史之乱终于平定之后。唐代宗在广德元年(763)3月，为他的爷爷李隆基举行了安葬仪式。李隆基的泰陵在同州奉先县东北20里的金粟山(今陕西蒲城境内)，冷清的墓地旁，陪葬着毕生忠诚的“老奴”高力士。
代宗又在大历十二年(777)5月，又命为高力士镌立墓碑，全碑高约4米多，宽约1．4米，碑文共1600余字。碑上铭文最后写道：“惟公之葬，泰陵之下，存殁义同，忠贞无舍，书词刊世，永示来者。”
