In 1824 bevonden zich op het domein van het Kasteel van de Draak een landelijk gebouw en een huis van klasse 5, eigendom van de familie de Vigneras. Dit domein werd rond 1850 door erfenis verdeeld. In 1860 verwierf mevrouw Jardel-Laroque, geboren Gérard, gronden bij de Draak en liet een huis van klasse 2 bouwen, voltooid in 1862. In 1874 kocht J.-A. Charriol dit bezit, liet het bestaande huis gedeeltelijk afbreken en liet een nieuw complex bouwen, het kasteel, voltooid in 1876 en afgerond in 1877. Hij liet ook, samen met het kasteel, de stallen, het huis van de opzichter en een prachtige duiventoren in pagodevorm bouwen, die nog steeds te zien zijn.
In 1882 werd het kasteel gekocht door de weduwe van Herman Cruse, Sophie Lawton, en bleef lange tijd in deze familie. Tijdens de Tweede Wereldoorlog werd het bezet door het Duitse leger, net als andere kastelen in Bouliac, en werden sommige ambachtslieden uit de gemeente gedwongen onderhoudswerkzaamheden uit te voeren.
Aan het einde van de 20e eeuw werd het kasteel omgevormd tot een bejaardentehuis, maar het stopzetten van de activiteiten markeerde het begin van de verwaarlozing van het domein. Dit werd al snel het slachtoffer van diefstal en vandalisme.
