河南省的山水画在六朝时期就有了独立成宗的趋势，到了唐代已成为重要画科。宋代山水画已很繁盛。元代倾向师法古人。鸦片战争以后，复古主义成了主潮，使山水画缺乏写实精神。民国初年虽然师古仍占上风，但毕竟已有不少山水画画家有独创的写实精神，林东郊、关百益等的山水画有深邃的意境，高雅的格调，富有诗情画意。
在抗日战争年代里，有不少山水画家在战火中流离失所，对祖国自然风光感受很深。描写山水的作品繁多，表现手法也越来越丰富，除青绿山水、浅绛山水以外，出现了纯用水墨皴擦晕染的山水画。杨藩周在中国画传统技法基础上，吸收了西洋画的光色技法，对山水画作出了难能可贵的贡献。
中华人民共和国成立后，特别是中共十一届三中全会以后，山水画家们深入生产建设第一线写生作画，艺术上产生了新的飞跃，出现了大量的优秀作品。谢瑞阶的《黄河在前进》图作于1978年，现存北京钓鱼台国宾馆内。作者着重画出社会主义时代黄河的新貌，表现了综合治理黄河所取得的成就；《大河上下，浩浩长春》图作于1982年，陈列在北京人民大会堂接待厅。丁折桂的山水画以素描、油画技法丰富了中国山水画的表现力，其代表作品《终南古道》1955年参加了全国美展；《嵩山》一画陈列在北京人大会堂河南厅。周中孚画的《黄河万里图》在北京中国美术馆展出后，受到美术界的重视。龚柯画的《嵩门月姣》、《黄山初晴》等参加了全国美展。
1985年河南山水画研究会成立后，中青年画家以浓厚的河南乡土色彩赋予山水画以积极的现实主义。谢冰毅的《黄河之秋》（获全国美展铜质奖），宋治国的《黄河远上》，郑玉昆的《少林晨曦》等作品，代表着这一时期山水画的成就。