En 1824, op het landgoed van Château du Dragon, stonden een landelijk gebouw en een klasse 5 huis, eigendom van de familie de Vigneras. Dit landgoed werd rond 1850 door erfopvolging verdeeld. In 1860 verwierf mevrouw Jardel-Laroque, geboren Gérard, grond in Dragon en liet een klasse 2 huis bouwen, voltooid in 1862. In 1874 kocht J.-A. Charriol dit eigendom, liet het bestaande huis gedeeltelijk afbreken en liet een nieuw complex bouwen, het kasteel, voltooid in 1876 en afgerond in 1877. Hij liet ook, samen met het kasteel, de stallen, het huis van de opzichter en een prachtige duiventoren in pagodevorm bouwen, die nog steeds zichtbaar zijn vandaag.
In 1882 werd het kasteel gekocht door de weduwe van Herman Cruse, Sophie Lawton, en bleef lange tijd in deze familie. Tijdens de Tweede Wereldoorlog werd het bezet door het Duitse leger, net als andere kastelen in Bouliac, en werden sommige ambachtslieden uit de gemeente gedwongen onderhoudswerkzaamheden uit te voeren.
Aan het einde van de 20e eeuw werd het kasteel omgevormd tot een bejaardentehuis, maar het stopzetten van de activiteit markeerde het begin van de verwaarlozing van het domein. Dit laatste werd al snel het slachtoffer van diefstal en vandalisme.
