Der Shihonryuji-Tempel besteht aus der Kannondo-Halle und der dreistöckigen Pagode. Der Tempel ist eine der ältesten heiligen Stätten in Nikko. Der Legende nach betete Shodo Shonin (735–817), der Gründer des Rinnoji-Tempels, hier in der Nähe, als er eine große lila Wolke über dem Berg Nantai aufsteigen sah. Da er sie als Botschaft der Götter verstand, baute er eine einfache Strohdachhütte und nannte sie Shiunryuji oder Tempel der aufsteigenden lila Wolke. Später wurde er im Shihonryuji oder Tempel der vier Drachen umbenannt, was sehr ähnlich klingt. Auf dem Stein, der vor der Pagode steht, saß Shodo, als er die Wolke sah. In der Nähe gibt es auch eine Steinstatue der Gottheit Fudo Myo-o und einen Altar für Steinfeuerrituale, die beide aus der Zeit Shodos stammen.
Das ursprüngliche Kannondo wurde 807 n. Chr. erbaut, um einen tausendarmigen Senju-Kannon zu verehren. Der Senju-Kannon ist eine der drei Hauptgottheiten des Rinnoji-Tempels. Der Berg Nantai wird als physische Erscheinung des Senju-Kannon angesehen. Dies ist eines der wenigen Gebäude in Nikko, das aus einfachem, nicht dekoriertem Holz gebaut wurde.