Het Domaine des Trois Colonnes heeft een rijke en bewogen geschiedenis die teruggaat tot de 14e eeuw, toen er een eerste kasteel op deze gronden werd opgericht. Tot zijn illustere eigenaren behoorde zelfs de maîtresse van François 1er, wat een vleugje romantiek aan zijn verleden toevoegt.
Door de eeuwen heen wisselde het domein meerdere keren van eigenaar, maar zijn lot werd vaak getekend door tragische gebeurtenissen. Tijdens de Franse Revolutie kende het bezit turbulentie, en de legende wil zelfs dat de tuinen door Le Nôtre zelf zijn ontworpen.
Helaas lijken de vloeken deze gronden te achtervolgen, want in de 19e eeuw werden meerdere eigenaren het slachtoffer van een gewelddadige misdaad in de aangrenzende boerderij, waarbij ze hand in hand werden gevonden. Het ware drama voltrok zich echter in de 20e eeuw, toen het anglo-normandische manoir werd gebouwd ter vervanging van het verdwenen oude kasteel.
In de jaren 1940 was het domein het toneel van een nog donkerder tragedie, toen de eigenaar, van joodse afkomst, zelfmoord pleegde, terwijl zijn vrouw werd gedeporteerd en overleed in concentratiekampen. Een tijdlang bezetten Duitse troepen de plek, wat een duister hoofdstuk toevoegde aan de al bewogen geschiedenis van het domein.
Ondanks de inspanningen van verschillende eigenaren, waaronder de Eaux Perrier, slaagde het domein des Trois Colonnes er niet in zijn vervloekte reputatie af te schudden. De jaren verstreken, en begin jaren 1980 greep het stadsbestuur in om een deel van de bijgebouwen te renoveren en er haar kantoren in te vestigen.
Oorspronkelijk bestemd om gesloopt te worden om plaats te maken voor een vastgoedproject, overleefde het domein op miraculeuze wijze tot 2016. Het huisvestte toen een deel van de bijgebouwen die nog niet door het stadhuis werden gebruikt, het hoofdmanoir, het beroemde "roze kasteel" en het huis van de conciërge. Ondanks de aanwezigheid van enkele kwaliteitsvolle elementen in het park, verkeerde het geheel in een staat van verregaande verval, wat getuigde van de tragedies die deze plek door de eeuwen heen hadden getroffen.
