A la fin du Moyen-âge, l’abbaye passe par des temps difficiles, et doit subir, outre de nombreux pillages, les assauts furieux de deux incendies...
A partir de la moitié du XVIème siècle, la prospérité revient. Les pèlerins se font de plus en plus nombreux. En 1629, un important bâtiment destiné à l’accueil des hôtes s’ajoute à l’abbaye : c’est la maison des étrangers.
Au XVIIIème siècle, l’abbé de Harlez décide d’entreprendre la construction d’une nouvelle abbaye, après avoir fait démolir l’église gothique et le cloître.