太祖下定了决心，要解除石守信等的兵权。于是有一天，他在宫中摆下丰盛的酒宴，请石守信等几员大将入席饮宴。喝到兴头上时，宋太祖屏退左右，对石守信等人说，我没有你们的鼎力帮助，不会当上皇帝，你们的功劳我永世难忘。但当天子也有很大难处，还不如做节度使安乐自在，我从来没有一夜睡过安稳觉。石守信等人听了以后茫然不解，忙问是什么原因。太祖回答道，皇帝这个座位谁不想坐啊。石守信等人急忙跪下连连叩头说，陛下为什么说这样的话，现在天命已定，谁还敢有异心？太祖说，你们虽然没有异心，一旦你们部下贪图富贵，把黄袍加在你们身上，到时就是你们不愿意，难道能摆脱得了吗？石守信等人听了此话惊恐万状，连连叩头，请求太祖指出一条生路。太祖说，人生在世有如过眼烟云，是很短暂的，其实追求的也不过是富贵，多弄一些钱，尽情地享乐，使子孙永远不过穷日子而已。你们何不交出兵权，到外地封为官员，在那里广置良田美宅，为子孙建立永久家业。再多养一些歌儿舞女，每天歌舞升平、欢度晚年。我再和你们联姻结亲，使君臣上下无猜，相安无事，这不是很好吗？石守信等将领心领神会，连连叩头拜谢感恩。第二天他们便相继称病，请求解职。宋太祖派人对他们抚慰一番，又赏赐很多财物，安置他们到外地去做节度使。历史上有“杯酒释兵权”之说法，指的就是赵匡胤君臣所导演的这一幕。
这以后收兵权的行动继续在进行。乾德元年（963）春，对几十个异姓王以及带相印的节度使通过死亡、迁徙、告老、遥领他职等方式夺了他们的权，以文官取代其职位。开宝二年（969）十月，乘凤翔节度使王颜超及诸藩入朝之机，宋太祖在皇家后苑摆下酒宴，又通过微妙的暗示，迫使王颜超等人自动请求辞官归家养老，罢去了他们握有重兵的藩镇职务，夺了他们的兵权。
在大肆剥夺诸藩、将领兵权的同时，宋太祖和赵普又在国家军事体制方面进行了调整、整顿，这些措施对进一步巩固赵宋王朝的中央集权，消除悍将强藩对朝廷的威胁，起了相当大的作用。
禁军将领，权任极重，容易威胁皇权。在调整中取消了殿前都点检、殿前副点检等高级禁军将领的建制，改由职位较低的殿前都指挥使、侍卫马军都指挥使、侍卫步军指挥使统辖禁军，称为“三衙”或“三司”；“三衙”只负责军队的管理和训练，没有调兵权。调兵权仅属于枢密，但是枢密院又无指挥权，军队指挥必须完全听命于皇帝。征战之时由皇帝临时点将，将帅在战场上一切的军事举措，完全听命于皇帝的远地指挥，无权独立作战。征战结束后，兵归宿卫，将还本职。这样将帅就不得专其兵，兵也难附属于将帅，但皇帝却专有统帅全军的最高权力。
作为直接保护皇帝安全的禁卫军，是一支重要的军队，为提高禁军素质，在赵普的策划下裁掉了禁军中的老弱病残者，选拔精壮士兵加以补充。禁军头目的任命，由皇帝确定，太祖诏命殿前侍卫二司，挑选所属士兵中的骁勇者升为上军；又命令各州选拔精壮的士兵送至京都补充禁军。禁军的素质提高了，地方军队的作用也随之削弱了。
赵普对军制的精心安排、调整，的确起到了强干弱枝、加强中央集权的作用。禁军“皆以一当百”，武器精良。诸镇对自己手下的兵力决非京师之敌这一点心里很清楚，因此也就不敢轻举妄动了。但是随之而来的弊病，也是显而易见的。由于中央集中兵权，使将不知兵，兵不知将，皇帝在远地摇控指挥，大大削弱了将帅的主动作战能力，从而影响了在战场上的作战效果。赵宋王朝在以后与西夏、辽、金的作战中，屡屡败绩，就是明显的例证。
赵普十分清楚仅削夺藩镇的兵权，并不能彻底解决藩镇强霸一方的问题，藩镇往往兼管几个州，有经济基础，有财政来源，有司法大权，可随时委派亲信为镇将，控制州县官吏，实际上就是地方上的上皇帝。于是他奏请宋太祖革除这种弊病。
乾德二年，朝廷下令规定各州的财政收入除留下作本地领费支出以外，其余的全部上交京师，不许藩镇任意截留地方财政收入。乾德三年（965）在全国各路设置了转运使，掌管各路财赋，节度使所属的官吏不得参与。地方司法由提点刑狱官监临，节镇不得干预。五代以来，节度使常常委派亲信为镇将，使他们与县令对抗，实际就是取代县令而自成体系。赵普决定恢复县令的权力，地方一切事务都统一由县管理。这样一来，中央收回了以前节度使统领几州的权力，使各州直属于京师，并由中央委派文臣朝官充任知州。同时又在各州加设了通判官，与知州共同处理政务，起到了互相监督和制约的作用。为避免州久任一地形成割据势力，又规定了“三年一易”的轮换制度。这样一来，地方的封建割据就很难形成了。
赵普采取的这些果断措施，进一步从各个方面削弱了藩镇的权势，各地节度使几乎成了没有实权的虚衔。与此相反，中央的统治权力得到极大的加强，强干弱枝的形势已经形成，中央和藩镇的关系和唐五代相比，已经是大不一样了。
出自对加强皇权的需要，赵普又对中央作了较大调整。在禁中设立中书，称为政事，由中书管政事；设立了枢密使专掌军事；另设三司使（盐铁、度支、户部称三司）总管全国贡赋和财政。过去是由宰相总揽的行政、军事、财政大权，现在一分为三，相权大为削弱。而皇帝除统领中书省外，还统领枢密院、三司等机构，皇权极为加强。为加强中央对司法权的控制，朝廷规定，凡是要处死刑的案件——大辟案件必须录案上报刑部审核。
一系列调整和改革，有效地解决了君弱臣强的内部机制，使专制主义中央集权得到空前加强。赵普在为赵宋王朝的权力得到巩固、加强方面确是竭精弹虑，不遗余力，正由于此，宋太祖视赵普为左右手，对赵普无不言听计从。乾德二年（964）四月，宋太祖为协助独居相位的赵普处理政务，特地设立了“参知政事”一职作为副相，并拜任薛居正、吕余庆为参知政事，但参知政事不押班、不知印、不升政事堂，权力是有限的。
十四年居相位
在宋太祖时期，由于赵普的贡献极大，所以职务提升很快。建隆三年（962）出任枢密使；乾德二年（964）正月，拜为同中书门下平章事，也就是宰相。太祖视赵普为股肱股肱（ɡōnɡ）：比喻左右辅助得力的人。
，事无巨细，都要与他商议。于是赵普也更加尽心竭力，参与制定了北宋初期的所有重大决策。
赵普勤于相业，不管是辅佐宋太祖还是宋太宗始终都是忠贞不二。他曾多次与宋太祖、宋太宗讨论理政治国之道，他认为君主应怀有爱民之心，而且要贯彻始终。有一次，宋太祖在与群臣宴饮时，忽天降大雨，开始太祖有些败兴，及后雨越下越大，太祖已经怒形于色，左右群臣怕得罪，谁也不敢吭声，唯有赵普对太祖说，这场雨对大宴并无妨碍，可对老百姓却很难得，他们都在盼雨，这场雨可以滋润禾苗，他们一定很高兴，实在是值得庆贺，请求乐官为之奏乐。经赵普这么一说，太祖马上高兴起来，命令乐官为喜雨而奏乐。
赵普还认为，治国之道应赏罚分明、大公无私，他把大公无私比作大自然的天，说：“天发生于春夏，杀于秋冬，不私一物，此所以能长久，王者所应当效法。”
赵普辅佐太祖、太宗对官吏严加选拔和考核，他请求太祖对官员进行考绩，提出以后拜节度使及武官等职必须要求立有战功，对宰相以及以下的百官应每年进行考绩。赵普选拔官吏，刚毅果断，敢于据理力争。他生平举荐过许多人，发掘过许多人才。他曾上疏太宗推荐张齐贤任宰相，以后张齐贤两次担任宰相，任劳任怨，工作相当出色。赵普曾发现一个人很有才能，上奏向宋太祖推荐这个人做官。太祖看了奏章后决定不录用。但上朝时赵普又递上了同样内容的奏章，太祖大怒，把奏章撕破扔在地上，满朝文武都大惊失色，赵普面色不变，跪在地上将碎片拾了回来。隔些天，赵普将奏章碎片粘贴在旧纸上照旧奏荐。太祖终于领会过来，任用了这个人。
又有一次，许多官员当提升，太祖素来对其中一个抱有恶感，不打算给他升迁，赵普认为应升迁，坚持请求，太祖发怒说：“朕决心不让他升迁，你能怎么样？”赵普说：“刑罚是惩办作奸犯科的，封赏是酬劳有功绩的，从古以来都是这个道理。何况刑赏是天下的刑赏，不是陛下的刑赏，岂能以陛下喜怒好恶来决定。”太祖大怒，站起身来就走，赵普跟随在后。太祖进入后宫，赵普在宫门外伫立，久而不去，终于得到太祖的同意。
赵普对禁军将领的选择特别精心谨慎。乾德元年（963），宋太祖要提升天雄节度使符彦卿管禁军。赵普了解符彦卿在节度使任上专横放纵，恣意不法。他认为符彦卿的名位已经很高了，不应该再授给他兵权。但太祖不听。发出了委任诏令，并不许赵普再谏。赵普把诏令扣留在自己手里，第二天上朝还给了太祖，劝太祖要深思利害。太祖问赵普为什么对符彦卿这样疑忌，太祖认为符彦卿不会有负于自己。赵普只好说了一句分量很重的话：“陛下何以能负周世宗？”太祖听了以后默默无言，于是中止了提升符彦卿的做法。
赵普也很重视法制，建隆三年（962）朝廷决定更定刑统，命令兵部尚书窦仪主持这项工作，《宋刑统》于第二年终于完成，经赵普的斟酌修改，连目录31卷，计12篇，502条。这是专属刑事法规，凡与刑名无关的敕令，另编有《建隆编敕》四卷，与《宋刑统》一起颁布天下。在封建专制社会里，皇权往往等于法，所谓“口合天宪”说的就是皇帝的权力凌驾一切。但即使如此，赵普还努力劝说太祖、太宗依法办事。太平兴国年间有一个卖药的骗子陈利用得到了宋太宗的信任，官至郑州团练使。此人专横骄纵，目无国法，坏事干尽，还拉拢一些爪牙为其张目，朝中许多大臣敢怒而不敢言。赵普派人查清了他的恶迹，审讯时陈利用也都供认不讳并且表示服罪。赵普奏请朝廷把陈利用处斩，但太宗却下诏将其流放商州，不久又要让他回来。赵普说陈利用罪大恶极，处置如此之轻，天下何以能服，留这样的佞臣贼子有什么用？太宗反驳说，作为万乘之主，怎么就没有保护一个人的权利？赵普答道：“此人犯了十几条死罪，陛下不杀，他必然要混淆天下的法律，法应当爱惜，此人有什么可爱惜的？”太宗不得已命令陈利用在商州自裁，但随即又后悔了，急派使臣送去免死的命令，但赵普在使臣未到时就已经把这个恶棍杀了，此事大快人心。
由于赵普独居相位达九年之久，朝政独断，威权日重，骄横之气也日盛，出现了刚愎自用、独裁专制的现象。他常在衙署座位后边，放置两口大瓮，凡是不合他意的内外表疏，就随手扔在瓮内一烧了事，为此他也得罪了不少人。赵普虽然善于举贤荐能，但也有嫉贤妒能之时。宋太祖曾夸奖过枢密直学士右谏议大夫冯瓒（zàn）是当世罕有的奇士，要重用他。赵普出于妒能之心，先是把冯瓒弄到梓州去做官，又想用卑鄙的手段置冯瓒于死地，幸好宋太祖出面进行了保护，冯才幸免于难。
开宝六年（973），宋太祖有一天亲临赵普的府第，见廊下放置十个瓶子，太祖问是什么，赵普回答说是刚才吴越王钱谬派人带来书信时送来的海产。太祖说：“海产必然是好东西。”即命打开，里面装的都是瓜子金。赵普诚惶诚恐地叩头说：“臣还没有拆开书信，实在不知道。”太祖叹口气说：“受之也无妨，他还以为国家大事都是由你们书生作主呢。”显然矛盾已经出现了。在这以后，就有人告发赵普私购官禁的秦、陇大木材，用来扩建府第；赵普的儿子娶了枢密使李崇矩的女儿为妻，违反了宰辅大臣子女不得通婚的禁令；赵普还包庇过受贿和拒不赴任的官吏等等。太祖大怒，决定借此机会分赵普的相权，诏令参知政事轮流与赵普知印、押班、奏事。开宝六年（973）八月太祖干脆就罢了赵普的宰相，出任河阳三城节度使，检校太傅、同平章事。
太平兴国二年（977），宋太宗诏令赵普入朝，改任太子少保，迁太子太保，留在京都供职。在留京师的开始几年，因为中书侍郎卢多逊的诋毁，宋太宗对赵普怀有猜疑之心，赵普郁郁不得志，一直没能入相。后来赵普冲破卢多逊的障碍，积极支持宋太宗对秦王廷美（太宗弟）的斗争，才使宋太宗和赵普的关系有所改变。太平兴国六年（981）九月，赵普被任命为司徒、兼侍中、又出任宰相。太平兴国（983）八年十月赵普又被免去宰相职务，出任武胜军节度使、检校太尉兼侍中。以后开封尹陈王元僖上疏太宗，推荐赵普再次入相。端拱元年（988）二月赵普再任兼侍中，淳化元年（990）正月自己主动要求免去宰相职务，以太保兼中书令充西京留守河南尹。以后封为梁国公，又改为许国公。
史书记载，赵普年轻时懂得官吏的事务，读书很少，当了宰相后，太祖常劝他多读书，增长学识。赵普深有领悟，他孜孜不倦，有志于学，甚至到了晚年也手不释卷。有人曾讥讽他以半部《论语》治天下，据说他对此也默认，其实赵普通过勤奋的学习，吸收了不少治理天下的道理和方法，又加上他善于审时度势，多谋善断，在事业上取得了很大的成就。
淳化三年（992），赵普拜为太师，封魏国公，当年七月因病去世，享年七十一岁。宋太宗听到这一消息时非常悲痛，因此罢朝五日。追赠赵普为尚书令，追封真定工，谥忠献。太宗并亲自撰写了神道碑以纪念他，并以八分书亲笔书写。
