高力士对这些事态变化，看在眼中，预感到出恶气报夙仇的时机将要来临。不久，王毛仲的妻子生了儿子。三日后，李隆基命高力士前去祝贺，按照惯例赏赐酒馔、金帛，并授这个新生儿五品官。高力士回宫后，李隆基问：“王毛仲高兴满意吗？”
高力士回答说：“臣下去了之后，王毛仲抱着他的儿子说：‘我这个儿子难道不能做三品官吗？’”李隆基一听，顿时满面怒气。高力士又进言道：“这些北门奴官位太高，而且他们上下勾结，抱成团伙。陛下如果不预先处置，早晚会弄出大祸事来。”
高力士的话带有几分推论，打中了李隆基的心病。宠极生骄的王毛仲却不知祸将临头，竟私自向太原军器监调取兵器铠甲。这事被担任少尹的严挺之立即上报给李隆基。问题的严重性，促使李隆基采取了果断措施。
李隆基在开元十九年(731)正月，诏书急下，贬王毛仲为瀼州(今广西南部，靠近越南)别驾；其他禁军将领葛福顺、李守德、王景耀、卢子龙等人也都解职贬往边远之地。被牵连的还有王毛仲的四个儿子和党羽数十人。当王毛仲行至永州(今湖南零陵)时，李隆基又下了一道赐死的诏书，以谋反的罪名将王毛仲一伙贬逐后，对宫廷禁军进行了整顿。曾参预平定韦后的陈玄礼，淳朴忠诚，升为龙武大将军，担负宿卫宫禁的重任。高力士掌握皇宫仗内卫队飞龙禁军。这样一来，宦官的地位得到提高，越来越盛，成为李隆基重用的内廷力量。高力士在天宝年间的职衔勋位冠军大将军、右监门卫大将军、骠骑大将军。
唐太宗贞观年间定下制度：宦官机构内侍省不设三品官职。武则天执政后，发生了变化，宦官人数开始增加，超升七品以上官位的多达千余人。这时宦官当中品级较高的很少，没有染指朝政事务。李隆基即位后，宦官日益重用。只要有才能得到信任授予三品将军的职位，家门前可摆设油漆的木戟。这种木戟，在汉代原是官员出行时作为前导的仪仗用物。唐朝时规定，官阶勋位三品以上者，私宅前设立油戟，以表主人高贵身份。
李隆基执政朝代最为显贵的宦官人物，是高力士，其次是杨思勖。杨思勖从小就当宦官，参加过玄宗发动的宫廷事变，因功升为左监门卫大将军，深受玄宗信任。杨思勖为人勇武，生性凶猛残忍，杀人不眨眼，常年受命统军在外征讨，先后带兵平定南方和西南地区的少数民族首领叛乱，战功显着。杨思勖后来升至辅国大将军、骠骑大将军，他的私宅也有兵将防守，所得赏赐无数另外，显贵的宦官还有黎敬仁、林招隐负责出使传宣诏命；尹凤祥掌管书院；其余孙六、韩庄、牛仙童、李大宜、袁思艺等人，也都身受重任。他们出使监军，权力超过节度使，经过郡县，地方官战战兢兢，丝毫不敢得罪。这些显贵宦官，如杨思勖死于开元后期，其余也有因罪被罚而荣宠不过一时的。唯独高力士长期居于内宫，深得李隆基信任眷顾。
高力士对玄宗棋影响也最大，他的显贵，大约从开元十年(722)前后开始。李隆基吸取祖母武则天代唐为周和韦皇后擅政的教训，于开元十二年(724)7月废掉他的皇后王氏之后，不再正式册封皇后，目的是不让皇后插手朝政。把朝政大权交给外朝宰相，总觉得不能十分放心。于是，李隆基便挑选身边的亲信宦官来协助处理军政事务。这就使高力士有了适逢其会。史书记载：全国各地呈上的奏章，都先经高力士审阅，再转呈玄宗批示，小事有高力士直接处理。高力士经常住在宫内，李隆基常说：“有力士在这里值班，我才睡得安稳。”
宦官执掌中枢机要，在皇帝身边形成了与外朝宰相相对抗衡牵制的“内朝”。原先内侍省长官“内侍”的官位是四品，这时升为正三品级的“内侍监”，地位和外朝宰相相同的级别。
唐朝历史，自高祖李渊称帝后，身边创业开国的元勋之臣，称作“太原元谋功臣”，无需另外再培植亲信。太宗李世民登基后，身边是参与过“玄武门之变”，帮他夺取皇位的功臣，以及秦王府的旧人，轮不上宦官来参政效忠。高宗李治即位后便有所不同了，宰相长孙无忌、褚遂良等人都是先帝的旧臣，不好使唤，为夺过权力，只好依靠多智多计的武昭仪(即武则天)，在自己身边形成与宰相抗衡的“内朝”。武则天当政的晚年，以自己的男宠为“内朝”。中宗复位，韦皇后擅权形成“内朝”。而玄宗李隆基称帝后，又与以前各不相同，充当内朝的角色也就不同了。
高力士的地位，自从掌管内侍省事务后，日益显赫，权势令人侧目，前来巴结附会的人，也就多得不可胜计。他手下的那些宦官，受命出使监军、办理拜佛诵经及布施恩惠一类的功德事务，到各地去采买珍奇鸟兽等，都是可以借机招贿勒索钱财的差事。至于派谁去干这些“肥差”，全凭高力士一句话。自然，高力士少不了从中“坐收渔利”。朝臣中那些希图早日升迁的，以及投机钻营的人物，如官至大将、宰相的宇文融、李林甫、盖嘉运、韦坚、杨慎矜、王琪、杨国忠、安思顺、高仙芝、安禄山等人，虽然都是有才干而得到玄宗宠幸，先后被委以重任的，文武官员都巴结讨好于高力士，请求高力士在皇帝面前为他们扬功美言。
高力士少年时因“家难”与生母别离。高力士显贵后，岭南节度使派人寻访到麦氏，接生母麦氏来。别离三十余年，麦氏问：“当年分别时，我说的话你还记得吗？”高力士回答：“你说过儿胸前有七个黑痣。”麦氏急问：“还在吗？”高力士连忙解开衣服，让母亲认看。这时，麦氏也拿出保存下来的一双金环，让儿子辨认。至此，母子二人方才相互确认，悲切流泪，抱头痛哭。
李隆基听说此事后，立即传命召见麦氏，恩封她为“越国夫人”，并追赠高力士亡故多年的父亲为广州大都督。麦氏便住在儿子养父高延福家中。高延福也享受和麦氏同样的侍候奉养。宰相张悦(封燕国公)为麦氏作墓志铭中有“验七黑于子心，辨双环于母臂”，说的便是这段故事。
麦氏来到长安备受奉养时，左金吾大将军程伯献与少府监冯绍正，同高力士结拜为兄弟。麦氏去世后，程、冯二人披麻戴孝，在麦氏灵前跪拜并接受宾客吊唁，二人悲哀号哭的模样，甚至超过送葬自己的双亲。尽管高力士势倾朝野，程、冯二人认干亲攀权贵的做法，便是受到人们耻笑的故事。
宦官虽然会受到皇帝宠信，但也受到耿直人士的鄙视。宦官以“刑余之身”还要结婚娶妾，就更是一件不伦不类的畸形事情。开元初年，吕玄晤河间(今河北献县)人在京城当小官吏，他有个女儿长得很漂亮，被高力士聘娶为妻。因为这层裙带关系，吕玄晤后来官位升到岐州(今陕西凤翔)刺史，他的子弟中还有担任皇族宗室王傅的。更引人注目的是，高力士的这位吕氏夫人去世时，朝廷上下争着赠送财礼和参加送葬的人，从高力士的府宅排列到京城东面的墓地白鹿原，络绎不绝。还有一事可见高力士的地位之显要。修建宝寿寺大钟铸成后，高力士设宴请客，朝廷大小官员都前往祝贺，规定凡敲钟一下，要捐献礼钱十万。有人为讨好巴结高力士，一气敲了二十几下，还感到不够；敲得少的也在十多下。所收捐献礼钱归已所有。
高力士在京城的来庭坊修有佛祠，在兴宁坊建有道观，这两处的殿堂楼台，与官修的寺院道观不相上下。高力士还在京城西北的沣河上拦水筑坝，安装了五座水磨，每天可碾麦300斛(10斗为1斛)，收取工钱。史书记载，由于玄宗宠信宦官，京城中最好的房宅，京畿一带最肥沃的田地、果园、池沼，有近一半是宦官所有。高力士身居高位，享有优厚俸禄，更有玄宗给予的大量赏赐，再加上广纳贿赂礼物，他的家财十分殷厚。
高力士多是在宫中侍奉玄宗。李隆基寝殿旁边有一座专为高力士修造的小院，房舍精致考究，其中还有专供念经拜佛的安静场所。李隆基称他“将军”而不呼名，皇太子称他为“二兄”，宗室诸王和公主称他为“阿翁”，驸马辈称呼他为“爷”。高力士在宫中的地位越来越高，不同一般高力士在开元末年，曾向玄宗李隆基说：“臣生于边鄙蛮荒之地，长在升平盛世，身受皇上恩宠三十多年，常心怀粉身碎骨，竭尽忠诚，报答皇上的愿望，以有助于国家的长治久安。”
李隆基即位之初，励精图治，勤于政事。首先致力于革除武周以来的弊政，仿效太宗当政时的“贞观故事”。在史书上盛称的“开元之治”突出表现，就是选任贤能。李隆基先后重用久负盛名的姚崇和宋璟为宰相。姚崇阅历丰富，明于吏道，理政果断，很有魄力，被誉为“救时宰相”。宋璟为官重“守法持正”，敢于犯颜进谏。姚、宋二人将国事处理得井井有条。
在姚崇担任宰相职务的第二天，李隆基从打猎的渭川回到京城，姚崇就几个郎官晋升的事向李隆基请示。他连奏三次，李隆基却仰视殿堂顶上，不予答理。姚崇不明态度，心中不安，急忙退出。这时，高力士在场，轻声进谏道：“陛下刚刚总理万机，宰臣前来请示，陛下应表示可否，为何一言不发呢？”李隆基回答：“朕任命元之(姚崇的字)为相，如果有关国政大事，他自然应当奏闻，与朕共同商议。可象郎官升迁这类小事，他自己决定就行，为何还要来麻烦朕！”
高力士在几天后遇见姚崇，向姚崇传告了李隆基的话。姚崇心中明白。感到非常激动和高兴。
高力士对李隆基是胸怀忠诚的。古代的军国大事中，皇太子也就是皇位继承人问题，关系国家根本。而历代皇帝处理此事，总是不免波折。自秦始皇统一天下，确立了皇帝制度后，在天下百姓心中，皇帝君临万民，主宰一切，威权至高无上。每当世乱动荡，总有英雄豪杰四方而起，争夺天下统治权。就是在统一的王朝中，心怀二志企图篡夺皇权的臣子也不乏其人。而在皇室内部，尽管早有历代传下来的嫡长子继承皇位制度，具体执行起来，并不顺利的。其中有三方面原因：一嫡长子未必个个都是圣明君王的材料；二皇帝一般都是儿子众多，被立为皇太子的未必就合皇帝老子的心意；三皇子们最容易不安分守己，争夺皇位以至骨肉相残势所难免。唐玄宗李隆基本人，论其圣明，可与曾祖太宗相比；论其残暴，可与前朝隋炀帝相比。在册立太子一事上，他的作为就是后世指责的话柄。
李隆基的后妃们共生育了30个皇子，30个公主。皇长子李琮的生母刘华妃，身世事迹史书上没有记载，可见并不得宠。而且，李琮本人在打猎时被野兽抓伤破相，不适宜当太子。开元二年(714)，次子李瑛被立为太子。李瑛的生母赵丽妃，容貌美丽，能歌善舞，是玄宗李隆基称帝前在潞州任职时所纳。李隆基特别喜欢音乐歌舞，对赵丽妃深受宠爱。李瑛能立为太子，正是子以母贵，母宠而立其子。李隆基的皇后王氏，生于官宦人家，曾参预李隆基发动的宫廷事变，两人可谓患难夫妻。不幸的是，王皇后一直不育。于是，她将李隆基另一个妃子杨氏所生的儿子(即肃宗李亨，排行老三)领养过来，关怀慈爱，如同亲生。但册立太子时，王皇后的心愿却未能实现。这使得王皇后心中常怀不安，对李隆基称帝后宠爱武惠妃也是愤然不平，时有牢骚。李隆基内心不悦，但因王皇后处事谨慎，待下有恩，一时不便废掉。王皇后之兄王守一见妹妹失宠，便暗请僧人明悟为之祈神求子，并画写木符佩戴于身。这种迷信做法，在古代属于皇帝最为忌讳的。开元十二年(724)7月，此事被人告发，李隆基立即下令废王皇后为庶人，贬入冷宫。王守一被贬官赐死。10月，王氏忧郁而死，之后，武惠妃得宠。她是武则天的侄孙女，与李隆基是表兄妹，从小在宫中长大，十五六岁时被纳为妃子。武惠妃颇能生育，生二子一女，接连天亡。及至寿王李瑁出生，李隆基让送到大哥宁王府中抚养。李瑁在皇子中排行为十八。
武惠妃虽没有皇后头衔，而礼遇实同皇后。寿王长大后深受李隆基钟爱，非其他皇子所能比。开元十四年(726)，李隆基想立武惠妃为皇后，但遭到朝臣的反对：“武氏乃不共戴天之仇，其后代岂能为国母！”李隆基心里明白，若强行其事，就会引起政局波动，其因是祖母武则天代唐为周留下的政治阴影太深。十年光景又过。这时太子李瑛已近30岁。另外两个皇子老五鄂王李瑶，老八光王李琚，都富有才识，得到父皇喜爱。这哥仨的生母，都已被父皇疏远。因此遇到一起时，总免不了发泄几句埋怨牢骚话儿。而武惠妃早就指使她的女婿、咸宜公主的驸马杨洄暗中监视太子等人。开元二十四年(726)岁末，太子等人相聚，被杨洄探知后密告武惠妃。于是，武惠妃向李隆基哭诉道：“太子他们私下勾结，企图加害臣妾母子，他们还大胆指责陛下。”李隆基听了大怒，立即召来宰相张九龄、裴耀卿、李林甫，商议废掉太子之事。
张九龄忠耿正直。他明白玄宗李隆基的心思。他坚持说道：“陛下三子都已成人，未闻有过大的错失，为何要听信传言，凭一时喜怒而废掉？太子关系国家根本，切不可轻易动摇！”李林甫这时的地位，排在张九龄之下，当着李隆基的面，他没有明确表态，但退朝后却对高力士说：“这是陛下的家事，何必问外人。”张九龄之所以阳奉阴违，早已暗中巴结武惠妃，表示愿意尽力扶持寿王。武惠妃得知张九龄态度坚决，悄悄派宫奴牛贵儿前去拉拢疏通。张九龄将牛贵儿大骂之后赶出家门，立即面奏李隆基。李隆基深受感动，废立太子的风波暂时停止。
不久，张九龄和裴耀卿相继被借故罢免，由李林甫接替了张九龄的职位。开元二十五年(737)4月，武惠妃又指使杨洄诬告太子等人企图谋反，李隆基再次召宰相商议。这回李林甫还是那句老话：“这是陛下的家事，非臣等所宜干预。”这促使李隆基最终横下决心，立即派宦官于宫中宣旨：将太子及鄂、光二王废为庶人。随即，将这三个亲生儿子赐死于京城东驿。
“三庶人”事件之后，武惠妃总是恶梦缠身，心惊胆战，恐惧成疾。李隆基命巫士于宫中祈神驱鬼，仍无济于事。12月，武惠妃暴病身亡，享年只有39岁。
武惠妃死后，李林甫几次劝李隆基立寿王为太子，李隆基犹豫不决，一拖就是半年多。
开元二十六年(738)5月，54岁的李隆基心力交瘁，愁容满面。谨慎机灵的高力士觉得是自己发言的时候了，便道：“陛下寝食不宁，是否因膳食不合口味？”
李隆基长叹一声道：“力士，你是朕的老奴，难道也不明白朕的心思！”
高力士忙道：“陛下忧心伤神，可是为太子的人选？”
李隆基说：“是啊，是啊。”
力士又道：“陛下何必如此虚劳圣心，推长而立，谁还会有异议！”
李隆基听了高力士的话，有所醒悟地说：“你说得对，你说得对。”顿时他愁容舒展，定下了主意。三皇子忠王李亨被立为太子。一场宫闱废兴的轩然风波在6月终于平息下来。
