An het eind van de middeleeuwen maakt de abdij moeilijke tijden door. Naast de talloze plunderingen valt ze ten prooi aan twee grote branden...
Vanaf midden zestiende eeuw kent de abdij opnieuw een grote bloei. Pelgrims komen massaal naar de abdij. In 1629 wordt een belangrijk gebouw aan de abdij toegevoegd om er gasten te ontvangen : het vreemdelingenhuis.
In de achttiende eeuw besluit de abt van harlez een nieuwe abdij te bouwen na afbraak van de gotische kerk en het klooster.