Im Jahr 1824 befanden sich auf dem Anwesen des Schlosses des Drachen ein landwirtschaftliches Gebäude und ein Haus der Klasse 5, Eigentum der Familie de Vigneras. Dieses Anwesen wurde um 1850 durch Erbschaft geteilt. Im Jahr 1860 erwarb Frau Jardel-Laroque, geborene Gérard, Grundstücke am Drachen und ließ ein Haus der Klasse 2 errichten, das 1862 fertiggestellt wurde. 1874 kaufte J.-A. Charriol dieses Anwesen, ließ das bestehende Haus teilweise abreißen und errichtete ein neues Ensemble, das Schloss, das 1876 fertiggestellt und 1877 vollendet wurde. Er ließ zusammen mit dem Schloss auch die Ställe, das Haus des Wächters und einen prächtigen Taubenschlag in Form einer Pagode errichten, die noch heute zu sehen sind.
Im Jahr 1882 wurde das Schloss von der Witwe von Herman Cruse, Sophie Lawton, erworben und blieb lange Zeit in dieser Familie. Während des Zweiten Weltkriegs wurde es von der deutschen Armee besetzt, ebenso wie andere Schlösser in Bouliac, und einige Handwerker der Gemeinde wurden gezwungen, dort Wartungsarbeiten durchzuführen.
Ende des 20. Jahrhunderts wurde das Schloss in ein Altenheim umgewandelt, doch die Einstellung seiner Tätigkeit markierte den Beginn des Verfalls des Anwesens. Dieses wurde schnell Opfer von Diebstählen und Vandalismus.
