La guerre de Cent Ans sonna le glas de la prospérité du monastère qui changea plusieurs fois de main, (Anglais, Français, Prince noir). En 1371, le Prince Noir met à feu et à sang le monastère.
Durant les guerres de religion, catholiques et protestants se disputèrent sa possession. Elle fut dévastée d'abord par les huguenots en 1562 et 1568 qui incendièrent les stalles médiévales, les deux orgues, les reliques, les archives et la charpente, puis, ensuite, par l'armée royale en 1574. Puis des abbés laïcs furent nommés. Ceux-ci étaient plus soucieux d'empocher les revenus de l'abbaye que de faire entretenir les bâtiments. Vers 1600, un de ces abbés, le vicomte de la Guerche, fit démanteler les bâtiments, pour en vendre les pierres ! C'est ainsi que disparurent en grande partie les bâtiments conventuels et le cloître.
À partir de 1611, un de ces abbés, Henri de Neuchèze, chassa les moines, et s’installa dans l’abbatiale dont il fit son logis. Il en fut, à son tour, chassé sur ordre du roi Louis XIII en 1640.