牛王庙在丰镇市东北隅北山（原称留云山）的东侧悬崖下，庙宇座西面东依山势建筑，山前濒临饮马河（古称如浑水）并有208国道从庙前通过。牛王庙原名灵严寺，是丰镇名胜“山寺朝霞”所在处。据《丰镇县志》称“山寺朝霞在城东北隅灵岩寺，素依山之麓筑九十九级而至其巅，回栏曲折处有禅室二，负山面水，盘距云间，凭栏远眺，河东场，星罗棋布，橼凉云门，红娘诸山亦送青于几席之上，当月落天晓，日将出时，霞光射来，楼阁树石俱成赤色，而于积雨霁后尤奇”。又“牛王庙咸丰二年（1852年）同知恒建，山神庙在牛王庙内西崖之半，傍有大仙祠，光绪三年（1877年）建。”牛王庙原正殿、乐楼、庙门、僧舍、碑刻和雕栏都在20世纪60年代末被拆毁，庙址被另作他用。现在遗留部分有靠山建筑的禅房2间，形壁和2座木构牌坊保存较为完整。
从山脚下登青石台阶而上至第一层平台，平台以石砌壁压以条石，沿平台和台阶两边原围以青石护栏，栏柱和栏板上刻满鸟兽花卉，形态生动。平台左右各建禅室1间，台中建1单间木牌坊，坊檐下悬“心情舒畅”匾额1面，坊后青砖影壁上书1草体大福字，影壁将登上第二层平台的石阶隔开，游人可由影壁右侧小角门进入，由壁后甬道迂回台阶而上至第二层平台，平台仍是累石砌墙条石铺面，面积约60平米，台上建木构牌坊1座，坊楼3间，中间高大宏伟。坊檐下悬“锦锈河山”匾额1面，左右二侧坊楼略低，显得整座牌坊生气盎然，灵活协调，坊前石阶两侧原有石狮、石旗杆各1对，已残破。
从此牌坊后石阶顺山势而上达牛王庙最高一层平台，仍以石砌壁条石铺面，原沿台阶所筑石栏和石狮等俱残毁。再沿石阶而上即达牛王庙最高处的山神庙和大仙祠。
牛王庙建筑布局独特，别具特色，原正殿、乐楼建筑为寺庙常规的南北向布局，而山上建筑一反传统风格的轴对称布局，各层建筑逐层斜错向北偏离中轴线，上下相望气象变化各不相同，有层出不穷之感。
民国年间《京绥沿线指南》将“灵严寺”与大同“华严寺”、包头“五当召”喻为塞北三胜景。