当寺は延喜癸酉（913年）に華厳菩薩の敕謚号を受けた平安の僧、妙行がこの地に庵を結んだ所から始まります。
行を修していると牛頭天王が８人の王子を連れて現れ
『この地に留まり修行を行えば我はそなたの法を護ろう。』と、
そこで妙行は牛頭天王を祀り八王子権現と称し、自らの庵を蓮華院として修業を行いました。
八王子の地名は、この八人の王子より付けられたと寺の古文書には記されております。
天慶巳亥（939年）朱雀天皇より寺領と扁額を賜い牛頭山神護寺として
勅願所となりましたが、その後荒廃しておりました。
永禄年間（1558年～1570年）八王子城主北条氏照公の命を受けて、その臣中山家範が工事の指揮をとり、
隨翁瞬悦大和尚を請して正親町天皇の綸旨を得て牛頭山神護寺は再建されました。
再建後の天正十八年（1590年）八王子城と共に焼失しましたが天正十九年（1591年）に第四世豁州達翁大和尚により再建され、十石の寺領を賜いました。
境内にあります梵鐘や本堂正面の額は、第九世心安海音大和尚により元禄二年（1689年）北条氏照公の百回忌が執り行われた際、中山家範公の末裔である備前守信治公の寄進によるものです。信治公は水戸光圀の家老であり、正面額の文字は明の僧東皐心越禅師によるものです。
現在の山号「朝遊山」は氏照公の禅室「朝游軒」より、寺号は氏照公の戒名「透岳宗關大居士」よりいただいたものです。
現在の場所は八王子城家老横地監物の屋敷跡であり、明治時代にここへと移りました。
寺の第２駐車場わきには城の守りの一部である横地堤が残っております。