中日自古交往密切，唐代以来日趋频繁。到南宋中叶，日本进入幕府时期，建立于1186年的镰仓幕府在对华贸易和文化交流方面采取积极态度，热衷于引进中国的禅宗，因此日本与南宋间的贸易往来从未间断过。然而，这一时期日本政府与统治北中国的金朝几乎没有任何往来，更没有和代金而起的蒙古发生接触。直到1270年，蒙古改“元”以前，日相营原九成在《赠蒙古国中书省牒》中还说：“蒙古之号，于今未闻。”
在忽必烈统治中原以前，蒙古帝国的前四汗，成吉思汗、窝阔台、贵由和蒙哥都对马蹄所不及的海国日本未曾留意过。直到1265年，高丽人赵彝向忽必烈报告说：“日本与本国邻近，汉唐以来都通使中国，可令高丽向导与之通使。”忽必烈才注意到日本的存在。
1266年8月，忽必烈派遣兵部侍郎黑的、礼部侍郎殷弘来到已经臣服蒙古的高丽，要求高丽协助蒙古晓谕日本，使其臣服。国书的内容大致如下：
大蒙古国皇帝奉书日本国王：朕惟自古小国之君，境土相接，尚务讲信修睦。况我祖宗，受天明命，奄有区夏，遐方异域，畏威怀德者，不可悉数。朕即位之初，以高丽无辜之民久瘁锋镝，即令罢兵还其疆域，反其旄倪。高丽君臣，感戴来朝，义虽君臣，欢若父子。计王之君臣亦已知之。高丽，朕之东藩也。日本密迩高丽，开国以来，亦时通中国，至于朕躬，而无一乘之使以通和好。尚恐王国知之未审，故特遣使持书，布告朕志，冀自今以往，通问结好，以相亲睦。且圣人以四海为家，不相通好，岂一家之理哉。以至用兵，夫孰所好，王其图之。
由此可见，忽必烈的这封国书实际上是一封通牒。
尽管在13世纪，高丽沿海受到日本海盗的侵扰，但毫无疑问，高丽人希望避免战争。在这种情况下，高丽人处于两难境地，他们采用了折中的谋略。他们护送蒙古使者到达巨济岛以后，高丽宰相李藏耍了一些手腕。他知道蒙古人从来没有横渡过日本海峡，于是他以“风涛险阻”为借口，再三劝阻蒙古人返回。尽管蒙古人也看出这是一个骗局，但高丽人在表面上信守了承诺，在礼仪上也面面俱到，最关键的是如果得不到高丽人的帮助，蒙古人无法出海。没有办法，这次晓谕的计划只能取消。
晓谕的失败使忽必烈勃然大怒。他对高丽王进行了严厉申斥，严令高丽立即与日本交涉，使日本臣服进贡。在这种情况下高丽王室无可奈何，只好在1267年9月1日再度派使者前往日本劝降，结果在日本太宰府滞留长达五个月，最后被遣还。1268年，忽必烈又令高丽王派大臣陪送黑的等赴日，使者抵日本对马岛，日本人拒而不纳，只捕得日本岛民塔二郎、弥二郎回朝复命。忽必烈对这两个日本人说：“今天朕要你们的国主来我元朝朝贺，并不是要逼迫你们，只是我想要垂名后世而已。”在后来的一段日子里，忽必烈让这两个日本人游览了燕京。1269年6月，命高丽派使臣金有成送他们返回了日本，并传递了用中书省名义写给日本国的信。日本收到忽必烈的国信后，日相营原九成起草了复牒，可却被镰仓幕府否决，未能交付给来使。在这以后，蒙古、高丽的使者来往于日本海，从1269年到1272年前后又进行了五次交涉，均被日本拒绝。
日本的镰仓幕府对蒙古的态度如此强硬是有着多方面原因的。首先日本当时正处于变革时期，社会动荡，为了维护镰仓幕府的统治，镰仓幕府的统治者北条时宗就不能在对外政策上表现出软弱，使国内的反对派对自己的地位构成威胁，否则他的统治就可能在顷刻间瓦解。另外，忽必烈本人的傲慢态度也不能让拥有无边的大海——这一天然屏障的大和民族屈服。毕竟当时的日本人对中国的这个新兴政权并不了解，更何况忽必烈根本就没把这个海上的岛国放在眼里，在谕诏上口口声称日本天皇为“小国之君”。在这几次交涉中，日本对元朝使者的态度一般是扣留或驱逐，因此可以看出尽管抵抗的态度非常明显，但镰仓幕府还不想走到最后一步——兵戎相见的地步。
1274年，和南宋的襄樊战役已经结束，蒙古人有了足够的精力去对付不听话的日本了。这一年的11月，蒙古与高丽的联军共2.8万人，乘坐900艘海船从高丽合浦出发，向日本发动了第一次远征。应该说这次的远征，是元朝征服日本的最佳时机，因为镰仓幕府并没有预见到元人的突然进攻，他们没有足够的防备。史实也说明了这一点。元朝的远征军很快就渡过了对马岛西海域，在对马岛登陆。这里的日本幕府守军很少，但很顽强。日本守护代宗助国勇敢地率领着80名骑兵迎战元军，最后全部战死。跟着远征军又在一岐岛登陆，只一天便攻陷岛城。幕府守备部队崩溃，守护平景隆自杀。随即联军很快就逼近了肥前松浦郡，幕府在这里的军队也很快就被打败了。
直到这个时候，幕府方面才得到元军大举入侵的战报。日本人很快做出了反应，他们在镇西奉行少二资能和大友赖泰的指挥下，向元军可能登陆的沿海地带集结。10月19日，元军到达博多湾。第二天在今津、博多一带登陆。元军与日本武士在这里展开了激烈战斗。这是一场血战，战斗一直持续到日落。元军副将刘复亭在战斗中负伤。日本武士所付出的代价则更高，伤亡惨重，博多、箱崎各地均已沦陷。逐队赶来参战的九州各武士团也被元军逐一击溃，被迫向大宰府水城方向退却。
而就在这一时候，元军内部的蒙古与高丽两方的将领发生了分歧。高丽名将金方庆主张一鼓作气解决九州岛的战役，然后静待己方的援军。而蒙军将领忻都与洪荣丘被日本武士那种顽强的战斗意志所震撼，他们考虑到士卒疲劳，将帅负伤。为防止日本武士夜袭，最终决定先撤回海船暂歇。现在回顾这段历史，如果当时采用了金方庆的主张，日本的命运就要发生变化了。
当天夜里，博多湾风高浪急，联军海船多触礁沉没，将士之中落水溺死者无数，军心极度动摇。在这样的状况下，继续作战已完全没有可能，于是残军撤退，第一次远征以失败而告终。此役发生在日本龟山天皇文永十一年，日本史上称为“文永之役”。
如果说元军第一次远征的失败是一种巧合的话。那么第二次远征的失败就要在军事准备与指挥两方面，做相当的自我检讨了。
1279年，南宋灭亡。元朝开始了第二次远征的准备工作。从物质方面的准备来说，这次远征无可挑剔。这次，元人不只在高丽建造战舰，还同时由南宋的降将范文虎指挥，在江南一带也开始大批建造海船。经过了相当长时间的准备，1281年远征开始。忽必烈的计划是，元将忻都、洪荣丘和高丽将领金方庆率领4万远征军组成东路军，依旧从高丽合浦出发。另一路由阿剌罕、范文虎率领10万南宋的新附军，自浙江宁波出发。两军于一岐岛会合，共同攻击日本。为了保证远征军持续作战的能力，忽必烈指示远征军携带锄头、铁锹等农具以备登陆后就地屯垦之用。
5月3日东路军首先从合浦出发。于当月21日，占领对马岛和一岐岛。但他们没有按照忽必烈的指示，在一岐岛就地休整，等待南军会合。东路军在一岐岛只停留了不太长的时间便继续远征。6月6日，东路军到达博多湾，这次就没有上次那么顺利了。幕府在这里建起了堡垒，进行了严密防御。东路军只好在博多湾的中志贺岛和能古岛下锚，自始至终无法登陆博多湾。
在志贺岛有狭长海滩通往陆地，远征军只能利用退潮时这一海中通道与日本武士进行殊死拼杀，无法发挥其集团作战的能力。加之是在海上，骑射与火器战术也失去了效用。战斗持续到6月13日，元军伤亡甚众，却毫无进展。
东路军见无法独力登陆博多湾，决定先回一岐岛与南军会合。但到达一岐岛后，东路军却发现南军并未到达。由于欠缺粮草，加上海上疫病肆虐，东路军军心开始动摇。忻都、洪荣丘提出撤回高丽，而金方庆对此表示反对，将领间出现了对立的情绪。这时江南军的先头部队到达了一岐岛，说明了南军失约的原因。原来南军统帅阿剌罕急病，忽必烈只好任命阿塔海取代。可阿塔海却迟迟未能到任，范文虎只好先把情况通知给东路军。就在东路军等待南军的时候，日本方面组织了一次冒失的出击。从6月29日到7月2日，尾随南军先头部队而来的日本武士对一岐进行了两次攻击。但很快就被火力强大的元军击退了。
7月上旬，范文虎久等统帅阿塔海不至，擅自率领南军出发，和东路军在平户岛附近会合。就这样，一个多月的时间白白浪费掉了。而利用这段时间，日本幕府已经做好了战斗准备。7月27日，远征军东进，占据鹰岛，开始为登陆日本本土做准备工作。就在这天晚上，突然又刮起了台风。因为元军以船为寨，台风一起，战船由于靠得太近，无法散开，相互撞击，大部分沉没。这场台风，在日本历史上被称为“神风”。台风过后，元军统帅落魄丧胆，竟然抛弃大部分军队，率领残存的船只退往了大陆。致使遗弃的数万士兵失去统帅，让日本武士在海上逐渐歼灭。日本人杀死了蒙古人和高丽人，而认为俘虏中来自南宋的新附军是唐人，所以留作为部民。
规模浩大的第二次远征日本就这么失败了。14万人回到中国的还不到原来的五分之一。
第二次远征日本失败后，忽必烈一直都在计划做第三次远征，而由于江南人民的起义反抗，直到1294年，忽必烈征伐日本的计划也没能成功。忽必烈逝世后也就再没人提及了。
虽然元朝与日本官方一直关系紧张，但双方的贸易与民间往来一直不断，文化交流仍然十分繁盛。双方政府不但不加禁限，而且有意促成。1277年，有日商持金来换铜钱，元朝给予准许。第二年，允许海官司同日本国人进行沿海贸易。1279年，日本大商船四艘载商人、水手二千余人到达庆元，经查明确定确实是来经商的，便批准交易。在元朝，可考证的与日本的贸易往来就有近五十年的历史。有时就是日本官方的商船为筹集建寺经费和其他目的，也会来元朝贸易。如日本幕府于1325年为修建长寺、1328年为造镰仓大佛、1341年为建天龙寺都派过商船到中国进行贸易。
在中日交易中，中国输出的商品主要是瓷器、香药、经卷、书籍、绘画、什器、绫罗锦缎以及铜钱等；从日本输入的主要有黄金、刀剑、木材、扇子、螺钿等。另外除商人外，来中国的就以禅僧为最多。禅宗在日本因得到幕府和武士阶级的尊崇而大为兴盛，在元朝统治时期，来华参礼禅学在日本的僧人中蔚为风气。在元代史册中留名来华日僧就多达二百二十余人。他们中不少人不仅禅学精湛，文章、书画亦佳。日僧雪村友梅住元朝20年，就曾拜访赵孟頫切磋书艺。据说他的书法笔势雄浑，使赵孟頫大为惊叹，同时赵孟頫的书画也在日本大受推重。
