Im Jahr 1824 befanden sich auf dem Gelände von Château du Dragon ein Wirtschaftsgebäude und ein Herrenhaus der Klasse 5, die der Familie de Vigneras gehörten. Dieses Anwesen wurde um 1850 im Erbfall aufgeteilt. 1860 erwarb Frau Jardel-Laroque, geborene Gérard, Land in Dragon und ließ dort ein Herrenhaus der Klasse 2 errichten, das 1862 fertiggestellt wurde. 1874 kaufte J.-A. Charriol dieses Anwesen, ließ das bestehende Haus teilweise abreißen und einen neuen Komplex, das Schloss, errichten, das 1876 und 1877 fertiggestellt wurde. Er ließ außerdem Ställe, ein Torhaus und einen prächtigen, pagodenförmigen Taubenschlag neben dem Schloss erbauen, die alle noch heute zu sehen sind.
1882 erwarb Sophie Lawton, die Witwe von Herman Cruse, das Schloss, das viele Jahre im Besitz der Familie blieb. Während des Zweiten Weltkriegs wurde es, wie auch andere Schlösser in Bouliac, von der deutschen Wehrmacht besetzt, und einige einheimische Handwerker wurden gezwungen, dort Instandhaltungsarbeiten durchzuführen.
Ende des 20. Jahrhunderts wurde das Schloss in ein Seniorenheim umgewandelt, doch mit der Einstellung des Betriebs begann der Verfall des Anwesens. Es fiel schnell Diebstahl und Vandalismus zum Opfer.
