Le temple Shihonryū-ji comprend le hall Kannondō et la pagode à trois étages. Ce temple est l'un des plus anciens sites sacrés de Nikkō. Selon la légende, Shōdō Shōnin (735 - 817), le fondateur du temple Rinnō-ji, était en train de prier près d'ici lorsqu’il vit un grand nuage violet s'élever au-dessus du mont Nantai. Prenant cela comme un message des dieux, il construisit une simple hutte au toit de chaume et la nomma Shiunryū-ji, ou Temple du nuage pourpre montant. Plus tard, il fut renommé Shihonryū-ji, ou Temple des quatre dragons, dont la prononciation est très similaire. La pierre devant la pagode est celle sur laquelle Shōdō s’assit lorsqu’il vit le nuage. À proximité il y a aussi une statue en pierre de la divinité Fudō Myō-ō et un autel rituel du feu en pierre, les deux datant de l’époque de Shōdō.
Le Kannondō original fut construit en 807 EC pour consacrer un Senjū Kannon à mille bras. Senjū Kannon est l'une des trois principales divinités du Rinnō-ji. Le mont Nantai est considéré comme une manifestation physique du Senjū Kannon. C'est l'un des rares bâtiments de Nikkō à être construit en bois ordinaire non décoré.