Počátky poutí do Chlumu sv. Máří se datují již do 13. století, kdy byla postavena kaple nad milostným obrazem. Kolem roku 1400 byl na místě dřevěné kaple vystavěn kostel kamenný, jež byl za husitských válek poškozen a později opraven. Za velmistra křižovníků Nikolause Puchnera se v letech 1482 až 1492 rozšířil na jižní straně. Jižně od kostela byla v roce 1499 zřízena kaple Tříkrálová, v které se též konaly pobožnosti pro poutníky, kteří putovali do Chlumu sv. Maří v stále hojnějším počtu.