W 1824 roku na terenie posiadłości Château du Dragon znajdowały się budynek gospodarczy oraz dom klasy 5, będące własnością rodziny de Vigneras. Ta posiadłość została podzielona w drodze dziedziczenia około 1850 roku. W 1860 roku pani Jardel-Laroque, z domu Gérard, nabyła tereny w Dragon i wzniósł dom klasy 2, ukończony w 1862 roku. W 1874 roku J.-A. Charriol kupił tę nieruchomość, częściowo rozebrał istniejący dom i zbudował nowy kompleks, zamek, ukończony w 1876 roku i oddany do użytku w 1877 roku. Wraz z zamkiem wybudował również stajnie, dom stróża oraz wspaniały gołębnik w kształcie pagody, które są widoczne do dziś.
W 1882 roku zamek został nabyty przez wdowę po Hermanie Cruse, Sophie Lawton, i przez długi czas pozostawał w tej rodzinie. Podczas II wojny światowej był zajmowany przez armię niemiecką, podobnie jak inne zamki w Bouliac, a niektórzy rzemieślnicy z gminy zostali zmuszeni do wykonywania tam prac konserwacyjnych.
Pod koniec XX wieku zamek został przekształcony w dom opieki, ale zaprzestanie jego działalności oznaczało początek zaniedbania posiadłości. Wkrótce stała się ona ofiarą kradzieży i wandalizmu.
