Původně gotická kaplička ze 14. století přístavbami rozrostla v raně barokní poutní areál s Kaplí Panny Marie.
Areál byl původně rezidencí březnických jezuitů, po zrušení řádu se dostal pod správu redemptoristů. Ti zde sídlili od roku 1860 až do roku 1950, kdy byli vyhnáni.
Roku 1990 se do objektu a svatohorské duchovní správy opět vrátili.