De Abbaye du Valasse heeft nog een andere naam, Notre Dame du Vœu. Eigenlijk zouden we het over een dubbele gelofte moeten hebben, want in de 12e eeuw legde Matilda de Keizerin, de kleindochter van Willem de Veroveraar, een gelofte af om een abdij te stichten terwijl ze gevangen werd gehouden in Oxford. Tegelijkertijd legde Galéran de Melan een identieke gelofte af als hij een verschrikkelijke storm zou overleven bij zijn terugkeer van de kruistochten. Nu ze allebei veilig waren, besloten ze een abdij te stichten.
De aartsbisschop van Rouen adviseerde Galeran de Meulan en Mathilde om hun geloften te verenigen en op 18 februari 1156 bevestigde paus Adrianus IV de stichting van de abdij van Le Valasse onder de naam Notre Dame du Vœu.
Een gemeenschap van cisterciënzer monniken vestigde zich er. De cisterciënzer monniken hielden zich aan de regel van Sint Benedictus en richtten zich op gebed, handenarbeid en de ontwikkeling van het land.
In de loop der eeuwen zou de abdij van Valasse de tand des tijds doorstaan.
Tijdens de Honderdjarige Oorlog werd de abdijkerk verwoest. Ze werd heropgebouwd in de 15e en 16e eeuw in een gotische stijl, ver verwijderd van de soberheid van de cisterciënzer stijl. Maar de abdij leed nog meer schade in 1516.
Tijdens de Revolutie werd de abdij verkocht als nationaal bezit. De abdijkerk werd verwoest en de rest van de abdij werd in 1792 de residentie van een rijke koopman uit Le Havre, Jacques-François Begouen.
Aan hem danken we het uiterlijk van het klassieke kasteel dat we vandaag de dag kennen. Het was ook in deze periode dat de architect Pierre-Adrien Paris het terrein rond het landgoed ontwierp.
Deze veranderingen werden voortgezet door de familie Fauquet-Lemaitre, die in 1833 eigenaar werd van het landgoed. Zij verlieten de abdij na de Tweede Wereldoorlog.
De Abbaye du Valasse werd toen een zuivelfabriek die de kaas Le Lillebonne produceerde. De kaasproductie veroorzaakte grote schade aan het gebouw, dat in het eerste decennium van de 21e eeuw grondig moest worden gerenoveerd.
