五代十国末期，全国在四分五裂。北有依附契丹的北汉，南有南唐、吴越、后蜀、荆南、湖南、南汉、南平、漳泉八个割据政权，严重威胁北宋王朝的安全和宋初中央集权的巩固，并且，要求统一的呼声日渐高涨，赵匡胤也有一统天下的雄心壮志。可是，面对这些强弱不一的割据政权，计划统一天下的赵匡胤也有些一筹莫展。起初，太祖打算先攻北汉，但遭到群臣的反对，这种反对是有根据的，当时北宋和北汉及辽的军事力量对比非常悬殊，要想先攻实力远胜于自己的北汉及其靠山辽国，确实失策。
一个雪夜，在家休息的赵普，迎来了一个贵客赵匡胤。赵匡胤进屋后，心情沉重地说：“我睡不着，所以想来和你聊聊，你觉得我是不是不应该先攻取北汉？”赵普沉默了良久，然后说：“北汉盘踞在太原地区，如果我们攻下太原，就要面对强敌辽国，我们不如先征服南方诸国，占有富庶的根据地，再回过头来解决北汉这块弹丸之地。”这就是北宋初年著名的“先南后北”的战略，即先消灭南方的几个割据政权，后消灭北汉政权，避免在统一南方以前与辽国发生正面的军事冲突。
正当赵匡胤准备出兵的时候，湖南的武平节度使周行逢病故，其11岁的儿子周保权即位。大将张文表起兵反对周保权，占领了潭州(今湖南长沙)，并准备进军武陵(今湖南常德)。周保权连忙向北宋和荆南的高继冲求援，当时荆南处在各割据国的包围之中，国势衰弱，兵力不足三万。于是赵匡胤便上演了一场“假道灭虢”的话剧，制定了取道荆南，攻占湖南，一举削平荆湖的战略方针。
公元963年初，宋将慕容延钊、李处耘率领十州兵马，进发荆南。临行前，他对慕容延钊和李处耘说：“出征湖南，必然要借道于南平，南平国势卑弱，可顺便将其攻灭。”
两位将领命向荆南进发，并派人先赴江陵向高继冲假道。高继冲听后，立即召集部下商议。部下众说纷纭，拿不定主意，会议散后，便召叔父高保寅密商。高保寅说道：“先准备牛羊、美酒，借犒师为名，探探宋营情况，再作决定。”高继冲说道：“那就请叔叔走一趟了。”高保寅带着事先准备好的东西，前往荆门犒师。两位宋将善待高保寅，高保寅非常高兴，立即禀报高继冲，说宋军并无他意。
当夜，宋军以精锐部队为先锋，由李处耘率领直奔江陵。高继冲得知，立刻来到城北十五里处迎接。与高继冲见面后，李处耘告诉他：“慕容延钊将军还在后面，你可在这里等候。”说罢，自己就率领大军进入了江陵城。
不久，慕容延钊来到，高继冲恭恭敬敬地陪着入城。回到江陵，高继冲发现宋兵已经占领江陵的大街小巷，这才明白大势已去，无可挽回，只得顺水推舟，将全境三州十六县，尽献给北宋。
在占领荆南后，宋军继续进发湖南，这时，周保权已杀了张文表，平定了叛乱，但宋军还是进入了湖南，周保权的部下没怎么抵抗，便投降归顺。至此，荆湖之地尽归北宋。随后，赵匡胤于公元964年年底，派大将王全斌、曹彬分兵两路，仅用66天的时间就灭亡了后蜀。
平定后蜀不久，赵匡胤曾先后两次进攻北汉，结果都以失败而告终，并且还损失了大量的精锐和辎重。赵匡胤痛定思痛，及时进行自我批评，决定继续实施“先南后北”的统一方针，于公元970年秋出兵攻取南汉。南汉以广州为中心，割据岭南两广地区达60年之久。在平定后蜀时，宋将潘美等就攻占了南汉的郴州，在接到赵匡胤灭南汉的命令后，潘美等立即出兵攻陷了贺州，随之连克昭、杜、连、韶四州，大败南汉军十余万于莲花峰下，并于公元971年春攻克广州，南汉灭亡。
赵匡胤平定南汉后，准备挥师平定南唐。但南唐大将林仁肇却让他心存顾忌。这林仁肇对李煜忠心耿耿，足智多谋，曾屡次大败吴越。因而赵匡胤想出一个绝妙的离间计，以除掉这个南唐最后的长城。
赵匡胤施行这条妙计时，颇费了一番周折。他首先是将奉哥哥李煜的旨意出使宋朝的李从善留在了汴京，一方面是为了留做人质，另一方面就是为了借李从善去实现离间计，因而李从善不得不留在北宋。李煜不知赵匡胤葫芦里面卖的是什么药，而又骨肉情深，因此经常派使臣前往宋朝，到李从善的住处了解情况。从此南北双方都频繁派遣使者。
过了一段时间，赵匡胤命一名画师扮作使臣，和其他使臣一同前往南唐。这位画师技艺高超，而且记忆力极强，即使和他见过一次面，他也能背着将你的肖像画出，并且惟妙惟肖，栩栩如生。这位“使臣”来到南唐，见了林仁肇，回到汴京后，立即把林仁肇的相貌画了下来，送到赵匡胤手中。赵匡胤便将画像命人挂到馆舍里。
一天，李从善被一个廷臣无意中带到馆舍。见到林仁肇的画像后，李从善惊异地问廷臣。廷臣故意支支吾吾，廷臣又犹豫了片刻才说道：“阁下已在汴京待这么长时间了，我就对你说实话吧。皇上爱惜林仁肇的才干，特地写信给他，令他前来，他答应归附皇上，一时不便行动，就派人送来这画作为凭证。皇上准备把此馆赐给林仁肇，待他来到汴京，直接去担任节度使的官职。”
李从善听后便将这一情况派使者报告李煜。李煜大怒，当即传召林仁肇，问林仁肇是否接受过宋诏。林仁肇被问得有些丈二和尚摸不着头脑，但感到问题相当严重，尽管没有承认，回答支支吾吾。因而李煜更加相信林仁肇已和北宋，便不动声色地说：“爱卿不必担心，因有人告发你，故朕向你问明一下，没有我就放心了！”然后设宴摆酒，将林仁肇毒死。消息传来，赵匡胤大喜，立即下令准备出征南唐。
公元974年秋，赵匡胤下令宋军会同吴越国主钱傲统帅的吴越军兵分三路，从北、南、西三面向南唐进攻。
在宋军进兵之前，南唐有个书生樊若水，因屡试不第，上书言事也没被李煜理睬，决定北投大宋。他在采石矾以钓鱼作掩护，经过反复探测，精确地计算出长江的宽度、水深、流速等各种数据，然后向赵匡胤献上在长江架浮桥之策。赵匡胤正愁北宋太军无法渡江，见到樊若水。马上赐他为进士及第，封为赞善大夫，并按照他的设计打造战舰，做好了渡江的准备。当总攻发起后，江北宋军通过采石矾浮桥，渡过长江天堑。李煜根本没想到能在水深江阔的长江上搭桥。等他发现时，国都金陵已处于宋军的重重包围之中了。
在李煜仍不投降的情况下，宋军攻陷金陵城。李煜在宫内堆积了一大堆柴火，发誓与社稷共存亡，到时赴火就义。可他又没有自杀的勇气。当曹彬率军杀进宫时，为保命还是投降了。
灭南唐是赵匡胤统一南方的最后一仗，也是当时最大的一次江河作战。这次战争中的“浮桥渡江”、“围城打援”，是赵匡胤战略部署中的得意之举，也是古代战争史上的创举。
公元967年，赵匡胤死去，宋大宗按照赵匡胤的既定方针，继续对吴越和漳泉施加压力，终于不动干戈，迫使钱饭和陈洪纳表献土，归降北宋，南方完全统一。随后，宋太宗一鼓作气，灭亡北汉，延续了数十年之久的分裂割据局面终于结束了，除了辽所控制的燕云十六州以外，汉族所聚居的中原地区和南方的广大区域重新获得了统一。
在南北用兵、统一全国的同时，赵匡胤还采取了一系列措施，巩固和加强了专制主义中央集权，进而创立了一整套为其后代奉若圭臬的“祖宗家法”。
赵匡胤出生在五代十国群雄割据的年代，他非常清楚地方军阀只要拥有重兵，便可黄袍加身的无耻行径，包括他自己，都是在拥有兵权后，方才篡位自立，进而取得天下。因此，赵匡胤在称帝伊始，首先就是削夺手握重兵的将领和地方节度使的兵权，这个他已经通过“杯酒释兵权”的方法加以解决，并派文官出任地方官吏，将兵权收归中央。在任命文官为地方官吏的同时，赵匡胤又害怕这些地方官吏在当地待的时间过长而拥有自己的势力，因而又下令地方官吏在一个地方任职不得超过三年，随后又收夺地方上的财权，要求各州除留有必要的经费外，其余财赋中属于货币的部分应全部送到京城，不得无故占留。
地方丧失了财权，自然也就无法屯兵自重了。赵匡胤为收地方精兵而创立的兵分禁、厢的制度，也为其后代一直沿袭下来，成为两宋兵制中的一大特色。在他看来，地方权力集中到朝廷，还没有完全解决唐中期至五代以来“君弱臣强”的问题，因而进一步采取措施，削弱大臣的权力，使权力完全集中到自己一人手中。他采取的措施之一便是削弱宰相在朝廷中的地位，削夺相权。随后又在百官中推行“官、职分离，互相牵制”的任官政策。宋代官制中，“官”是品级，“职”是殿阁、馆阁学士一类的荣誉称号，亦没有实际权力，只有由皇帝或中书省“差遣”的临时职务才是实职，即执行实际权力的职务。这种职、权分离，名、实混淆的任官体制，使任何官员都无法集权力、荣誉、威望于一身，权大者并不一定职高，望重者并不一定位显，这就很难形成对皇权的威胁。同样，即使是临时“差遣”的实职，也是按照分权而相互牵制的原则进行安排的。
赵匡胤还在隋唐以来的科举考试制度的基础上加以继承、改革和发展。并规定殿试不再有淘汰制度，只要参加过殿试，都可以有做官的机会，并称其为“天子门生”，即皇帝亲自测试的人都拜皇帝为师，自称是皇帝的门生。同时，赵匡胤还着力改变重武轻文的旧风气。下令修复孔庙，开辟儒馆，沿用老学名儒，以劝励教化。赵匡胤认为，乱世用武，治世用文，对进入朝廷的文臣再也不能只是当作点缀摆设，而应切实发挥他们的作用。
随着对文臣的重用，统治集团内部的那种畸形的文武关系得到了调整。原来那些骄横跋扈，视文臣为无用，甚至一言不合就要“砍杀”宰相的武将们不但见了宰相都要恭恭敬敬地寒暄问候，而且自己也在赵匡胤的劝告鼓励下，学着文臣的样子读起书来。
这样，一方面是调整中央与地方、君主与臣下的关系，使地方的行政、财政、军事等各方面的权力不断地向中央集中，最后又集中到皇帝一个人手中，形成了至高无上的君主集权制；另一方面又开科取士，重文用武，广罗人才，极力扩大这一专制统治的基础。在统一大局已定的情况下，赵匡胤并没有志满意得、忘乎所以，更没有因此而骄逸放纵。这在皇帝中也是非常难得的了。
作为一代明君，赵匡胤的死却成为历史上的一大疑案，史家众说不一，其中也有说是赵光义谋杀的。总之，赵匡胤之死，留下了千古之谜。不过，这样也更增添了这个“宋祖”皇帝的神秘。
公元976年秋天，赵匡胤猝然死去，赵光义则顺利地继承了皇位。
