I 1824 fandtes der på området ved Drageslottet en landbygning og et klasse 5-hus, ejet af familien de Vigneras. Dette område blev delt ved arv omkring 1850. I 1860 købte fru Jardel-Laroque, født Gérard, jord ved Dragen og lod opføre et klasse 2-hus, færdiggjort i 1862. I 1874 købte J.-A. Charriol denne ejendom, lod det eksisterende hus delvist nedrive og opførte et nyt kompleks, slottet, færdiggjort i 1876 og afsluttet i 1877. Sammen med slottet byggede han også stalde, vogterens hus og en smuk duehus formet som en pagode, som stadig kan ses i dag.
I 1882 blev slottet købt af enken efter Herman Cruse, Sophie Lawton, og forblev i denne familie i lang tid. Under Anden Verdenskrig blev det besat af den tyske hær, ligesom andre slotte i Bouliac, og nogle håndværkere fra kommunen blev tvunget til at udføre vedligeholdelsesarbejde der.
I slutningen af det 20. århundrede blev slottet omdannet til et plejehjem, men lukningen af dets aktivitet markerede begyndelsen på områdets forfald. Det blev hurtigt udsat for tyveri og hærværk.
