天册万岁元年（695年），武则天已是古稀之年的人了，纵然保养有术，但毕竟是一垂垂老妇，除了权力和富贵的诱惑，对薛怀义再也没有吸引力了。他利用武则天给他的富贵和权势，在外面蓄养多名女子，还与她们生育了十几个子女。武则天多次召他入宫，他要么故意延时迟至，要么就找借口推辞不去。弄得武则天始则大怒，继而见到薛怀义后，又柔肠百结。薛怀义如此傲慢矫情，任性妄为，冒犯难测的天威，并不是他疯了，而是他比谁都了解武则天。什么女皇，女人而已。他清楚，武则天现在已经离不开他了。薛怀义这样做的目的，就是以此私情，胁迫武则天，任其为所欲为。而武则天对他，最差的结果，也就是不理他罢了。
武则天对薛怀义果然没有办法，反而成了她惟一惧怕的人。说起来十分可笑，一个视天下为无物的亘古唯一女皇，居然害怕一个男宠，仿佛沦为尘埃似的奴仆，真是匪夷所思啊！武则天只有任其妄为了，薛怀义就越发傲慢无礼，为非做歹起来。
寂寞中的武则天于是发展御医沈南璆为其新的情人。史称：“南璆房术，不让怀义，武氏恰也欢慰”。
薛怀义知道后，深为妒恨。这不是因为他对武则天有多少感情，而是怕因此失宠从而失去权势和富贵。于是他怒不可遏，似乎是真的疯狂了，他决心报复。
他点起一把通天火，竟将象征女皇威权的、耗资巨大的天堂放火烧毁，借此警告武则天，不要脚踏两只船。天堂里的大佛是用麻和丝绸做成，外涂油漆与血，遇火燃烧极速。火焰冲天，火星四窜，不可遏止。很快就延烧至明堂，城中如同白昼。
薛怀义如此作恶，武则天竟不予追究，反而采取了遮掩措施。她清楚这火是谁放的，原因她更是心知肚明。她对朝臣们说，这是庙祝管理疏忽，以后加强防火就是了。她下令重建天堂和明堂，命薛怀义重为督修。做了恶不但没事，反而受到奖励，就使得薛怀义因此更加骄横，出入皇宫，言多不顺。武则天遂对他渐生厌恶。正在这时，侍御史周矩上本弹劾薛怀义。说薛怀义已把上千名壮汉剃度为僧，藏在白马寺里，实系阴谋不轨。武则天闻听大惊，她最见不得的就是对自己权利的丝毫冒犯，她怕薛怀义对自己有所行动，于是，预作准备，密选百余名有力的宫人拱卫左右。
而武则天的女儿太平公主洞悉形势，她与武则天一样担心，怕薛怀义如此胡闹，肯定要出事。于是，太平公主建议武则天：趁早除掉薛怀义，以免养虎为患，反受其害。
太平公主并自告奋勇地担负起了这一艰巨的任务。
武则天考虑到薛怀义“伟形神，有膂力”（《旧唐书》），兼耳目众多，嘱太平公主秘密进行。
太平公主遂在民间选了二十几个壮妇，并由格斗教练专业培训了一段时间。然后让武则天的族侄、建昌王武攸宁在羽林军中另选一批勇士，埋伏在瑶光殿。
一切准备就绪后，太平公主令薛怀义的一个心腹去宣他入宫。谎称武则天为重建明堂的事，让他入宫汇报。
薛怀义一踏入瑶光殿（这是他去见武则天的必经之路），这二十几名拿着绳索、枪棒的壮硕的妇人就一拥而上，将绳索套在他身上。薛怀义猝不及防，被绊倒在地，挣扎着就要站起。这时，武攸宁率领的勇士们也从隐蔽处跑出来，将他制服。妇女们把薛怀义捆得如肉粽一般撂在殿前。太平公主看着曾经骄横的薛怀义，如今如癞皮狗一样嗷嗷乞怜，从鼻孔里哼出一声冷笑，下令将他当场乱棍打死。尸体送回白马寺，烧成灰之后，和在泥里建塔修庙。
武则天对太平公主如此干练利落的作风，甚为满意，称赞说：此女肖我，可惜非男儿。
总之，薛怀义事件，使武则天的身心遭到重创，她一生的努力，都是逆势而为，变不可能为可能。反而在她威权极盛时，却要受制于一个小混混，被他侮辱。因此，她感到很窝心，一度神情萎靡，痛定思痛后，也幡然醒悟。薛怀义是通过造神运动把她推上皇帝宝座的，那时她对佛教狂热，正式登基改国号为周时，年号即为天授，并且在皇帝前面加了许多尊号。薛怀义事件后，她对佛教冷淡下来了，反而对儒教敬重起来。薛怀义死后十三天，她宣布将“慈氏越古”等的一长串尊号去掉。几个月后，也就是这年九月，她加尊号为“天册金轮大圣皇帝”，大赦天下，改元天册万岁元年（695年），次年正月，又改为“万岁通天”。这都是因为武则天情人的缘故啊！因为武则天厌恶薛怀义，也便对佛教失去了兴趣；因为武则天移情别恋沈南璆，而沈南璆是个儒医，也便爱屋及乌，尊孔崇儒了。在儒教中，“天”即“神”。因此，被焚毁的明堂重建后，即由“万象神宫”改称“通天宫”。
最后的情人--二张兄弟
武则天对于她所宠幸的人，都会让他们因受宠而风光，从而更加尽心尽力地侍奉自己。比如薛怀义，由市井细民直至笑傲王侯。只是因为他恃宠而骄，任性胡闹，才逼迫武则天下了最后除掉他的决心。沈南璆是武则天的第二任情人，史料对他记载不多，在武则天宠幸他不久，他就病逝了，武则天的感情也因此再次受挫，不禁大放悲声，并亲自题诗一首，以纪念他们之间这段非同寻常的君臣之恋。
太平公主看到女皇枕边寂寞，便也效法千金公主，把自己的男宠张昌宗推荐给了自己的母亲。
太平公主对武则天说：“游赏圣情，调和身体，去虑除烦，男人貌虽异，而本质都差不了多远。既如此，就宜选姿禀秾粹、家世显贵者，若市井无赖辈，徒污清誉，为后世笑也。”
武则天长吁一声后说：“女儿之言大善，先前宰相苏良嗣敢扇薛怀义的嘴巴，故意羞辱他，不就是欺侮他是市井小人吗？若是公卿子弟，南衙也不致如此！”太平公主便把张宗昌是如何年轻貌美，床上功夫是如何风光旖旎等情况，一一向武则天介绍清楚。最后她又强调说：“且他是世家子弟，其父是太宗朝凤阁侍郎张九成。聪明伶俐，通晓音律，面如粉面何郎，貌似潘安重生，又有登徒子之多情。女儿不敢自秘，特献于母皇。”
武则天当夜试过之后，喜不自胜，在床边即诏封张昌宗为飞旗将军。从此，武则天对张昌宗宠幸备至。而张昌宗为了巩固女皇的宠爱，再向武则天推荐自己的哥哥张易之，说他床笫之间，造诣极深，犹胜于自己。且他善制春药，服之使人青春永驻。武则天一听大悦，即把张易之召来，试之，果如其言。时武则天年已七十四岁，视这两个二十岁左右的美少年为至宝，夜夜攻伐。而二张兄弟侍寝的本领确实高超，入侍后不久，她发现，自己果然返老还童了，不但精力过人，身心愉悦，而且两眉重生，皮肤也红润起来了。这都是二张兄弟的功劳啊！因此，她对这对情兄欲弟百般宠爱，言听计从，官爵一加再加。俨若王侯，每天随驾早朝，扈随左右，备受宠信。就连他们的母亲戚夫人，因为与兵部侍郎李迥秀私通，被人弹劾，武则天大笔一挥，曰此私事，准予往来，不得妄议。时人称为“奉旨通奸”。可见信任的程度。此时武则天年事已高，政事多委易他兄弟俩处理，张易之张昌宗成了她晚年的重要依靠。
二人权倾朝中，炙手可热，不仅在后宫恃宠而骄，恣意专横，而且干预朝政，打杀异己。就连武则天最得宠的侄儿武承嗣、武三思等人，也对他二人望尘而拜，如小吏然。朝臣对他们更是谀言日进，奉承他们气韵流畅，美若莲花。内史杨再思即多次在公开场合谄媚张昌宗说：“人言六郎面似莲花。再思以为莲花似六郎，非六郎似莲花也。”张氏兄弟易之行五，人称五郎；昌宗行六，人称六郎。
张氏兄弟做威弄权，骄横无比，甚至到了利令智昏的地步。他们看谁不顺眼，就实施恶意的政治攻击，其矛头不但指向当朝宰相，还波及到太子李旦及太平公主。众所周知，太平公主是武则天的掌上明珠，张昌宗又是太平公主推荐给武则天的，按说，太平公主有恩于张昌宗，可张氏兄弟得宠后却恩将仇报。不但排挤太平公主，而且还将太平公主心爱的情郎杨戬杀害，她伤心自不必说了，内心里虽对二张兄弟恨如寇雠，但又因为他们在武则天面前恩宠不衰，太平公主亦奈何不得。反过来又不得不讨好他们，因为她知道，既然改变不了结果，就不如帮助完善其过程。她和被废的哥哥李显、李旦联名上书武则天，为张昌宗请封王爵。武则天遂夸赞儿女们明理、乖巧，于是顺水推舟，封张昌宗为邺国公。
太平公主此计甚妙，果然，她收到了一石三鸟之效。一，取悦了母亲；二、化敌为友，二张兄弟改变了对太平公主的态度，他们不再与太平公主争权夺利了；三，因为有了二张兄弟的协助，太平公主在朝中说话的份量加重了，为她后来拥立李显复位太子，打下了基础。
凡帝王，不管其年岁，可以广选天下的青春美少女，为后宫佳丽；而作为亘古未有的女皇帝，为何不能选一些青春美少年，充陈后宫呢？武则天为了显示与历代男性皇帝一样，便想在后宫设置与三宫六院类似的机构，据《旧唐书》记载：“天后令选美少年为左右供奉。”称“控鹤府”。为了给二张兄弟更多的权力，特命张易之和张昌宗分别为控鹤府监和秘书监。
控鹤府是个闲散单位，名义上是研究三教，招了几个老儒主编《三教珠英》，内容以集孔子、释迦牟尼、老子的名句名言为主。其他人都是些少年美男，武则天的原意就是要使他们成为实际上的皇帝“供奉”。
这些人无事可做，除了天天开筵饮酒外，就是夜夜设局赌博，要么就是大搞同性恋。弄得秽声四播，朝野侧目，以致使控鹤府成了藏污纳垢的代名词。儒臣们对此大为愤怒，但他们不敢把火发在武则天身上，而是逮着机会，就羞辱张氏兄弟。宋璟曾做过武则天时候的宰相，秉性刚直，强硬有气节。一天，他故意把张易之叫过来，在大庭广众之下送给他一条裙裾，称他为“夫人”，极尽侮辱他。侍中韦安石，有一次看见张氏兄弟把几个商人叫进皇宫赌博。韦安石大怒，以铜臭商人居然进入皇宫，有辱皇室尊严为由，不顾张氏兄弟的颜面，将几个商人驱逐出宫。
在民间，一些阳具雄伟的人，常常自矜自伐，可惜了如此伟器，竟委屈尘泥，不能供奉女皇。更有一个叫魏厚祥的平头百姓，胆大妄为，他给武则天上了一个奏折，公然声称，凭他的私处之美，他完全有资格入控鹤府充当供奉。
左补阙朱敬则年已七十，为一刚正儒臣，当年曾弹劾来俊臣滥用刑法。现在闻听魏厚祥出此秽言，不由大怒。以为身为大臣，不可不言，乃上书武则天进谏道：“臣闻志不可满，乐不可极。嗜欲之情，愚智皆同，贤者能节之，不使过度，则前圣格言也。窃以为陛下有张氏兄弟亦可以自娱矣。陛下岂以二臣为不足必欲置美少年耶？满朝之中已人言啧啧矣。窃闻有魏厚祥者，以精力过人自炫，公然自请位列宿卫，并尚有上舍奉御柳良宾洁白美须眉，左监门长史侯祥云阳道壮伟，过于薛怀义，专欲自进堪奉宸内供奉。无礼无仪，溢于朝听。臣愚职在谏诤，不敢不奏。”
武则天阅后，对朱敬则的犯颜直谏不但没有大发雷霆之怒，恰恰相反，竟然对他予以褒奖，说：“爱卿为国劬劳，殊可嘉勉。若非爱卿直言，朕不知此！”并赐给他彩绢马匹若干。
武则天之所以能建立不世伟业，与她的胸怀有关，除了谋反外，武则天并不为有人揭短而恼羞成怒，而且也能及时的更正自己。
对于武则天宠幸声名狼藉的男宠二张兄弟，时为宰相的狄仁杰也是强烈建议武则天撤除秽乱深宫的“控鹤监”。他谏道：陛下志在千秋，而二张在其左右，有辱盛名。陛下若能去此污点，方为古今完人。
狄仁杰是国家重臣，武则天不好敷衍，因此，她对他详加解释，说她之所以嬖幸二张，完全是为了修养身体。因为过去躬奉先帝，生育过繁，元气损伤得厉害，以致现在落下了老亏症，虽常服参茸补品，但疗效不明显。今据《黄帝内经》之法，唯采元阳而补之，方能培根固本，从而阴阳和谐而血气充足。她并称赞狄仁杰忠直爱君，是国家股肱。宜多操心国事，而不宜过问甚至干涉皇帝私事。
虽然武则天驳回了狄仁杰的谏诤，但狄仁杰的话不是不起作用。不久，武则天即改控鹤府为“奉宸府”，并限制其活动，不使其丑闻扩散。
