元灭金、宋以后，开始了对河南地区近百年的统治。由于中国社会政治、经济发生深刻而巨大的变化，河南失去了全国性政权建都立国的基本条件。随着全国政治军事中心的北移、交通干线的改变（大运河此时已与河南关系不大）、以及其他地区发展较快而后来居上，河南在全国所处的地位急剧下降。由于长期处于战乱之中，加上黄河频繁改道泛滥，河南地区的社会经济出现了严重的衰退趋势。在元代全国有名的大城市中，河南只有开封1个，也仅仅是只有20万人口的地方性政治经济文化中心。
元朝在地方行政体制上首创行省制度，在所设10个行省中有河南江北等处行中书省。今河南省黄河以南地区属该省管辖，黄河以北地区划归“腹里”，直属中央管辖。“河南”作为省一级行政区划的称谓，由此而始。明、清以至民国，虽管辖区域和称谓多有调整，但仍一直称为“河南省”。
元代，黄河水患极为严重，较大的水灾就有260多次。河南地区受害最大，尤其是豫东、豫北的广大地区，几乎到了荒凉凄惨、人烟欲断的境地。治河成为元朝政治、经济生活中的一件大事，更是河南地区的一件首事。贾鲁治河，造福中原，在河南史上留下光彩一页。
1344年，黄河在开封决口，河道北移，淹没沿河许多州县，破坏了运河漕道，冲毁了山东盐场，直接威胁到元朝政府的经济命脉和财政支柱。工部郎中贾鲁负责治理黄河，以治水监的身份沿黄河视察。他不辞辛劳坚持实地考察，往返奔波几千里，详细绘制了河道形势图，提出了具体的整治方案。他主张：一、修筑北堤，以制止横溃，则用功省；二、疏塞并举，揽河东行，使复故道。这是一套省时、省力、省钱的科学方案，却被元朝统治者搁置起来。直到1351年，时任工部尚书的贾鲁坚决主张治河，认为治河已到了刻不容缓的地步，朝廷才派他为总治河防使，遂征发民工15万、军士2万，按原定方案着手治河。农历四月动工，七月疏成长达140多公里的故道，八月堵塞决口，至十一月全部完工，使河归故道，南流合淮入海。贾鲁治河，胸怀全局，合理部署，科学施工，以空前的速度完成了浩大的河工，为后代治黄提供了宝贵的经验。
贾鲁坚持综合治理的方针，在治理黄河的同时，对河南境内的其他水道也加以修治。豫西有几条小河，有流入黄河的，黄河涨水时极易倒灌成灾；有内积成沼的，没有泄渲出路，遇水必灾。贾鲁一面堵塞入黄河口，一面利用原有河道，疏通一条新河作为泄吐信道。这条新河以荥阳为起点，过郑（州）北，经中牟、尉氏、扶沟、西华、周家口（今周口），入沙河归淮河。后人为纪念贾鲁“功在当代，泽被千秋”的伟大业绩，将新河定名为贾鲁河。贾鲁河对河南的农业生产和水运交通发挥了很大作用，既使西部、中部地区的河流沟溪获得了渲泄信道，虽时逢多雨也不致积涝成灾；又在省内沟通了沿河州县的漕运联系，成为外联江淮的水运干线。后来，贾鲁河沿岸的一些城镇逐渐繁华起来，朱仙镇一度成为全国四大名镇之一，周家口也曾有“小汉口”之称。
在元朝统治进入中原之初，大量圈占良田为牧场，没收官田和地主土地赏赐给蒙古贵族。伯颜在河南有赐田5000顷，把原来的农民抑为佃农。土地迅速集中到少数蒙汉贵族官僚手中，破产农民被迫大量流亡，加速了河南社会经济的衰退过程。1283年，河南等地破产农民一次南逃就达15万户。后来，元代统治者虽曾采取鼓励垦荒、兴修水利等措施，河南经济仍处在不断衰退之中。到元朝末年，广大中原地区更是“人民稀少，地多不治”。
元代，河南地区的科技文化在许多领域失去了对全国的影响。这一时期，河南对全国影响较大的有：彰德（今安阳）地区是杂剧活跃的地区之一，郑廷玉（安阳人）是成就较大的杂剧作家；戏曲史家钟嗣成所着《录鬼薄》是现存元代记述元杂剧历史的重要文献资料；考城（今属兰考）张子和被誉为金元医药四大家之一，是中国“攻下派”的代表；许衡（沁阳人）是元代三大理学家之一，他同郭守敬、王恂等制造仪象圭表，测日晷，制定“授时历”；杂剧作家宫天挺（濮阳人）长于借古讽今，称誉一时；安阳开始人工种植药材，出现官办的药材种植场——汤阴艾园。
元朝统治者依靠武力征服全国，推行种族歧视和民族压迫政策。广大中原人民被列为第三、四等人，深受民族和阶级的双重压迫，不断起来反抗。武宗至大（1308～1311年）年间，赵万儿在南阳、归德、汝州、汴州等地结社聚众，准备发起起义，因赵万儿被捕遇害而夭折。河南各地人民对元朝政府的血腥镇压，不屈不挠，始终利用秘密结社的组织坚持反元斗争。到了元朝末年，朝廷腐败，贪官横行，土地高度集中，成千上万失去土地的农民成为流民，衣食无着。同时，中原地区水旱灾害连年不断，黄河一年三决，把广大贫苦农民推向了死亡线。1325年，河南息州（今息县）赵丑厮、郭菩萨率先起义，提出“弥勒佛当有天下”的口号，揭开了元末农民大起义的序幕。1337年河南境内又爆发了陈州人棒胡（因善使棒而得名）领导的信阳起义。1351年刘福通在颍州率领红巾军发动声势浩大的反元农民大起义。红巾军转战豫南各州县，相继攻克罗山、真阳、确山、汝宁、息州、光州等地，迅速发展壮大，燃成燎原之势。红巾军在亳州建立大宋政权后，于1357年分兵3路北上伐元。刘福通率主力攻占汴梁（今开封），并定都于此，红巾军反元斗争达到高潮。由于北伐3军军令不一，彼此缺乏联系，又没有建立巩固的后方根据地，各路义军相继失败。1359年元军攻占汴梁，刘福通撤兵退出河南。由于刘福通、韩林儿相继牺牲，红巾军起义最终失败。红巾军转战13年，大小数百战，给蒙古贵族和汉族官僚地主以致命打击，从根本摧毁了元朝的统治，瓦解了其在河南的统治势力。
元末农民起义中力量不断壮大的义军领袖朱元璋，在消灭东南元军和割据势力后，于1368年称帝，建都南京，定国号明。其称帝前，已派兵北伐。以徐达和常遇春为正副统帅的25万北伐军挺进中原。徐达占领汴梁并迅速平定黄河以南地区后，朱元璋从南京赶来，在此居住近百天，进一步研究布置北伐灭元的战略方案。同年8月，徐达率明军攻入大都（今北京），元朝灭亡。在明军攻入大都的同月，朱元璋下令以开封作为明朝的陪都。1378年撤销开封陪都。1421年，明成祖迁都北京。
