黄河自金代濒临开封以后，灾祸不绝，成为开封的头等大患。明代初年，黄河多次决口。洪武二十年(1387年)，河决开封城，全城屋舍多沉浸水中。永乐八年(1410年)，黄河再次决口，使7000多顷良田化成一片黄沙，14000多名难民无家可归，闹得周王府也打算迁到洛阳去。于谦于正统年间(1436～1449年)任山西河南巡抚，他视察河防，发觉险象环生，黄河堤近在开封城外4里，万一决口，城池难保。他采取一切措施加固堤坊，还修筑了部分护城堤，并顺应民间习俗，在河堤上铸铁犀牛，盖回龙庙，以禳灾祸。
铁犀位于开封城东北的铁牛村北，为明正统十一年(1446年)铸。明末河决，庙毁犀沉。清顺治年间掘出。康熙三十年(1691年)，巡抚阎兴邦重建庙宇，改名铁犀镇河庙。清末，庙毁犀存。
抗日战争期间，日军曾将铁犀移入府文庙，后因迷信及村民反对，又送回原处。
铁犀高2.04米，坐南向北（背城面河）呈蹲坐姿态，由翻模工艺铸造而成，造型浑厚，神态逼真，威武雄壮。背上铸有阳文"镇河铁犀铭"四言韵语22句88字，其铭为：百炼玄金，溶为金液，变幻灵犀，雄威赫弈，填御堤防，波涛永息，安若泰山，固如磐石，水怪潜形，冯夷敛迹，城府坚完，民无垫溺，雨顺风调，男耕女织，四时循序，百神效职，亿万闾阎，措之衽席，惟天之庥，惟帝之力，尔亦有庸，传之无极。下款为"正统十一年岁在丙寅五月吉日，浙人于谦识"等18字。
1982年，修建四边各12米的正方形须弥座式月台一座，台高1米，铁犀移入月台正中。东、北、西三面砌有蹬道，北蹬道两侧竖立石碑2通，一为清康熙三十年(1691年)河南巡抚阎兴邦撰文的"改建铁犀镇河庙碑"，另一为阎兴邦捐俸置买镇河庙香火地1顷7亩1分的11段各契四至清单，由开封府南河同知王永羲所立。两碑俱建碑楼予以保护。1998年，又修建了铁犀亭、围墙、大门，完善了景观。
1963年6月,铁犀牛被公布为河南省文物保护单位。
