尔朱荣在拥立元子攸为帝的同时，又把子攸的兄长彭城王元劭和其弟霸城公元子正都一起弄到河阳，封元子邵内为无上王，元子正为始平王。
除掉胡太后和幼帝后，尔朱荣的亲信费穆劝说道：“您属下人马不过万人，现在直逼京都，前面并无拦路之师，既没有大胜之威，朝中群臣暗中也不会服从于您。如果您不大行诛罚，把朝廷官员换成自己人，恐怕您哪天离开朝廷一步，肯定就会内中变起，有祸事发生。”尔朱荣觉得费穆所言极是。
他又问另一个亲信慕容绍宗：“洛阳人士繁盛，骄侈成俗，我想趁百官迎拜新皇帝之时，一并杀之，你认为如何？”
慕容绍是个明白人，他劝说尔朱荣：“胡太后荒淫失道，奸臣弄权，四海沸腾，所以明公您才趁机兴义兵以清朝廷。如果无故歼夷朝士，忠奸不分全都杀掉，恐怕大失天下所望。”
尔朱荣不听。他请庄帝循河西至河阴，引导百官于行宫西北，告之大家说要祭天，不能请假。
百官聚集之后，尔朱荣捡个高台四处望，立马于上，大声叱责说：“天下丧乱，肃宗暴崩，都是你们不能辅弼造成。而且朝臣贪虐，个个该杀！”言毕，纵兵大杀。死难朝臣人数极多，据《北史》、《魏书》记载有一千三百多人，《资治通鉴》记载有两千多，反正是上至丞相高阳王元雍、司空元钦、义阳王元略，下至正居丧在家的黄门郎王遵业兄弟，不分良奸，全部刀劈斧砍，杀个精光。尔朱荣又让军士鼓噪：“元氏既灭，尔朱氏兴！”
接着，他又派兵士举刀奔向行宫。当时的孝庄帝正与兄弟往帐外走，想看看外面发生什么事情。几个军士抱住庄帝，声称防卫，拥入帐中。余人就把两个王爷砍成几段。听见两个兄弟帐外惨叫，庄帝元子攸慌问究竟，军士也不回答，逼着他走到河桥，软禁于帐蓬之中。
庄帝忧愤交加，没想到刚做皇帝几天不到，亲兄弟就横死在眼前。他派人对尔朱荣说：“帝王迭兴，盛衰无常。今四方瓦解，将军奋袂而起，所向无前，此乃天意，非人力也。我本相投，志在全生，岂敢妄希天位！将军见逼，以至于此。若天命有归，将军宜时正尊号；若推而不居，存魏社稷，亦当面择亲贤而辅之。”
尔朱荣属下高欢劝荣称帝。另一将领贺拨岳陈说相反的意见：“将军首举义兵，志除奸逆。大功未立，马上称帝，正可快速招惹祸端，不见得有什么好事。”
尔朱荣很迷信，派人铸他自己的金像。北魏王朝以及北方胡人凡做重大抉择时，比如选皇后等，常常铸金人以卜吉凶。一共铸了四次，金像全部都没有铸成。尔朱荣信任的一个巫师也劝他，说天时人事都不成熟。
估计是诛杀朝臣太多，一方小酋长干出这样大事情，精神大受刺激，加之迷信作崇，尔朱荣精神恍惚，不能自持，呆立了半晌才缓过神来，说：“犯下如此大错，当自杀以向朝廷赔罪”。贺拨岳劝他杀掉高欢以谢天下。左右劝止。
当夜，四更时分，尔朱荣重新迎回庄帝还宫。他从马上滚落，向庄帝叩头请死。此时庄帝只是个傀儡，自己保住性命能不死正庆幸，哪还敢让尔朱荣死。
尔朱荣属下契胡兵士杀掉这么多王公大臣，都不敢入洛阳城。城中士庶都逃奔他方，又传说尔朱荣要纵兵大掠纷纷狂逃，剩下的人不足十分之一、二。
尔朱荣奉帝还宫后，上表要求封赠庄帝的哥哥无上王为无上皇帝，其余河阴死难大臣皆追赠官阶，以慰生追死。接着，尔朱荣又在廷上建议迁都。庄帝唯唯，众人诺诺。惟有都官尚书元谌公然说不可。
尔朱荣大怒道：“迁都关你屁事，这么固执已见！难道不知道河阴之事吗？”
元谌回答：“天下事当与天下人论之，奈何用河阴之事吓唬我元谌。我，国家宗室，位居尚书官位。生既无益，死又何损。即使今天碎首断肠，也无所惧！”
尔朱荣大怒，廷上拔剑欲杀。其从弟尔朱世隆一旁苦劝，尔朱荣才按下怒气。当时在场诸人个个震悚，元谌自己神色自若。
几天后，尔朱荣与庄帝登高四望，见宫阙壮丽，列树成行，他自己叹息道：“为臣我先前愚昧啊，皇居如此之盛，我还要迁都，现在想想元尚书的劝谏，真是有道理。”由此，他不再坚持迁都之议。
五月，尔朱荣又被加封为北道大行台。他亲自到光明殿入谢孝庄帝，发誓自己没有贰心。魏帝亲自离座止其拜，也发誓说自己从未猜疑过尔朱荣。尔朱荣大喜，求酒大饮，醉至人事不省。
望着这位残杀自己兄弟手足的权臣，庄帝杀心顿起，直想上前一刀结果尔朱荣。左右苦谏，说周围侍卫全是尔朱氏党羽。庄帝忍下恶气，派人用床担着尔朱荣，送到中常侍省内的房间里歇息。
半夜，尔朱荣酒醒，心中后怕至极，从此不再到皇宫里留宿。
尔朱荣的女儿本是魏肃宗的侧妃。他又想把女儿嫁给庄帝当皇后，全然没有“一女不嫁二夫”的概念。庄帝犹疑不决。黄门侍郎祖莹劝皇帝隐忍，而且抬出“反经合义”的古理，庄帝就答应了婚事。尔朱荣大喜，自此又成了皇帝的老丈人。
尔朱荣举止轻脱，喜欢骑马射箭。他每次朝见，没有什么事办，只是上马下马找乐子玩，很像是表演马术。又常常和皇帝一起在西林园大设宴席，射箭为乐。同时，他还叫皇后女儿也在场观看，把河阴漏网未杀的王公、妃主也共聚一处一起喝酒赏艺。每见到皇帝射中箭靶，他就起身边舞边叫，将相卫士们也随之盘旋起舞，公主嫔妃们也不得不举臂欢呼。
实际上，此时的魏王朝宗室已经汉化极深，内心深处肯定极其厌恶尔朱荣这套胡人的把戏。但身为线中木偶，只能对尔朱荣惟命是从。酒酣耳热之时，尔朱荣又盘腿坐地高唱家乡胡曲。傍晚宴会结束，他又会和左右亲信牵手挽臂大唱回波乐而还。据笔者猜想，这种名为回波乐的歌舞肯定很像俄国哥萨克那种蹲地盘旋前行的舞姿。
尔朱荣本性残暴，喜怒无常，刀槊弓矢，不离于手。有一次他看见两个和尚共骑一匹马，大怒，派人揪下两人，让他们光头互相重重撞击。撞得没有气力时，又派人挟住两个和尚，头对头猛撞，一直撞到两人死去为止。
尔朱荣率军回晋阳前，把自己的亲信死党元天穆等人召入洛阳，占据要职，凡是朝廷大官，全部换为自己熟悉的人。魏庄帝对此无可奈何。
此时，魏国的葛荣叛乱已经势不可制。葛荣兼并四方武装，号称百万，围攻邺城。尔朱荣听说这一消息，自师精兵七千（一说是七万），人携两马（一马为副，方便昼夜兼行），直扑河北。
葛荣听说尔朱荣这么一点人马，大喜于色，让手下人准备些长绳子，扬言说尔朱荣到来就马上把他们全捆起来。这位草寇出身的莽撞人背向邺城，列阵数十里，散漫迎敌。尔朱荣打仗绝对是个高手中的高手。他先派兵埋伏于山谷间，准备出奇不意地出击。又三人一组，派出几百组骑马四跃，扬尘鼓噪，让葛荣军人不知已方数目多少。双方近距离混战，考虑到刀不如棒好使，又发给兵士每人袖里藏棒一枚，以便近击。为了防止兵士贪功，割首及求赏，他又下令战后不以人脑袋为封赏的标准，只以大胜为准。试想，如果百万人的脑袋一动不动让七千个人去割，也得把这七千人活活累死。
两军相接之时，尔朱荣亲自冲锋陷阵，带兵突出阵后，里外合击，大破百万葛荣军，并当场生擒葛荣。首领被擒，葛荣属下全部投降。
看见这么多乱哄哄的降兵，尔朱荣考虑到即使这么多人投降，也还是一百多人敌自己军士一个人，怕马上俘虏他们会派起对方惊骇反抗之心，就下令葛荣军士就地遣散，可以亲属相随，一概不问。“于是群情大喜，登即四散。数十万众一朝散尽。”等到这些散兵游勇出走百里之外，聚不起团来，尔朱荣才又派兵分道押领，并选择其中的头目首领，编入自己军队服务，使新附军人都感服他的处置。
由此大功，尔朱荣又被魏朝加封为大丞相，两个儿子文殊、文畅同时封王。
