这个机会很快就来了。
开元二十四年底，李隆基一行刚回长安不久，蔚州刺史王元琰因为贪赃枉法，被刑部、大理寺和御史合庭审理，因其妻乃时任尚书左丞的严挺之前妻，于是后者便想方设法为其营救。不想被李林甫得知，便拿这件事来大做文章，立刻差人禀告李隆基，称“严挺之私自袒护王元琰应该追究”。
李隆基对此事甚为恼怒，便找来张九龄商量。可张九龄由于与严挺之的私交甚笃，而且也很欣赏后者这种直言不讳又不齿靠近权贵、且讨厌阿谀奉承之人，于是便不甚在意的回答：“休妻何来旧情？想必坐赃之罪未实，所以秉公辩诬。”
不知是不是因为事先听信了李林甫的谗言，李隆基对张九龄这回答很不满意，不高兴的表态，即便之前分开了，但近日两人必有私情，否则严挺之又怎会为下堂妻的老公而四处奔波。见皇帝不高兴，张九龄也不好再辩，于是只好婉转请另一个宰相裴耀卿再次申辩。
只不过，此时的李隆基由于在位时间久，年龄也逐渐增长，精力渐不如前，对各项政务也日趋怠慢。再加上又开创了开元盛世，从某个角度来说，他所作出的成绩甚至比太宗李世民更为辉煌。这样的光辉业绩，令他沾沾自喜，也就不再像开元初期那样励精图治，像张九龄这种忠心为国、但说话不中听的大臣已经让他不胜其烦。于是，善于察言观色的李林甫立即抓住这个机会，继续诽谤张九龄，不惜捏造出他与严挺之相互勾结，在朝中拉帮结派的“事实”。
或许是因为早年的惨痛经历，李隆基这一辈子最痛恨、最忌讳的就是结党营私，而李林甫的这次诬告就正中他的痛处。再联想到此前多次被张九龄的直谏给逼得下不来台的尴尬，终于下定决心将张九龄、裴耀卿贬为左右仆射，罢知政事，同时提拔李林甫为中书令，终于让这个以口蜜腹剑闻名于天下的人登上了权利最高峰。
然而，即便是这样，李林甫也不满足，仍要对张九龄赶尽杀绝。
开元二十五年四月，监察御史周子谅因不满李林甫专政，于是言辞激烈的上奏李隆基，弹劾李林甫徇私，任用无才之辈滥登相位。奏书中引用了武则天时期的谶书“两角犊子自狂颠，龙蛇相斗血成川”为证，暗讽李林甫提拔的工部尚书牛仙客会推翻唐朝。然而，李隆基对谶书相当忌讳，牛仙客又是他所欣赏的人，故问奏之后大怒，将周子谅打昏在大殿上，之后更将其流放至瀼州。此时，李林甫趁机进言说周子谅是张九龄推荐的，盛怒之下的李隆基又迁怒张九龄，将他赶出长安，贬为荆州长史。
至此，在这场斗智斗勇的政治较量中，武惠妃和李林甫一方完胜，这块拦在争立太子路上的绊脚石，终于被搬走了。
