En 1824, en la finca del Château du Dragon, había un edificio rural y una casa de clase 5, propiedades de la familia de Vigneras. Esta finca fue dividida por herencia hacia 1850. En 1860, la Sra. Jardel-Laroque, nacida Gérard, adquirió terrenos en Dragon y mandó construir una casa de clase 2, terminada en 1862. En 1874, J.-A. Charriol compró esta propiedad, mandó demoler parcialmente la casa existente y mandó edificar un nuevo conjunto, el castillo, terminado en 1876 y finalizado en 1877. También mandó construir, junto con el castillo, las caballerizas, la casa del guardián y un magnífico palomar en forma de pagoda, que aún se pueden ver hoy.
En 1882, el castillo fue adquirido por la viuda de Herman Cruse, Sophie Lawton, y permaneció mucho tiempo en esta familia. Durante la Segunda Guerra Mundial, fue ocupado por el ejército alemán, al igual que otros castillos de Bouliac, y algunos artesanos del municipio se vieron obligados a realizar trabajos de mantenimiento allí.
A finales del siglo XX, el castillo fue transformado en una residencia para ancianos, pero el cese de su actividad marcó el inicio del abandono del dominio. Este último fue rápidamente víctima de robos y vandalismo.
