Godine 1824., na imanju Dvorca zmaja nalazila se seoska zgrada i kuća 5. klase, u vlasništvu obitelji de Vigneras. Ovo je imanje podijeljeno nasljedstvom oko 1850. godine. Godine 1860., gospođa Jardel-Laroque, rođena Gérard, kupila je zemljište u Zmaju i podigla kuću 2. klase, dovršenu 1862. godine. Godine 1874., J.-A. Charriol kupio je ovu nekretninu, djelomično srušio postojeću kuću i izgradio novi kompleks, dvorac, dovršen 1876. i završen 1877. Također je sagradio, uz dvorac, štale, čuvarovu kuću i prekrasan golubarnik u obliku pagode, koji su još uvijek vidljivi danas.
Godine 1882. dvorac je stekla udovica Hermana Crusea, Sophie Lawton, i dugo je ostao u toj obitelji. Tijekom Drugog svjetskog rata, zauzela ga je njemačka vojska, kao i druge dvorce u Bouliacu, a neki obrtnici iz općine bili su prisiljeni obavljati radove održavanja.
Krajem 20. stoljeća, dvorac je pretvoren u dom za starije osobe, ali prestanak njegove aktivnosti označio je početak napuštanja imanja. Ovo je ubrzo postalo žrtvom krađa i vandalizma.
