En 1824, en el dominio del Castillo del Dragón, se encontraban un edificio rural y una casa de clase 5, propiedad de la familia de Vigneras. Este dominio fue compartido por herencia hacia 1850. En 1860, la señora Jardel-Laroque, nacida Gérard, adquirió terrenos en el Dragón y mandó construir una casa de clase 2, terminada en 1862. En 1874, J.-A. Charriol compró esta propiedad, demolió parcialmente la casa existente y mandó edificar un nuevo conjunto, el castillo, terminado en 1876 y finalizado en 1877. También construyó, junto con el castillo, las caballerizas, la casa del guardián y un magnífico palomar en forma de pagoda, que aún se pueden ver hoy en día.
En 1882, el castillo fue adquirido por la viuda de Herman Cruse, Sophie Lawton, y permaneció durante mucho tiempo en esta familia. Durante la Segunda Guerra Mundial, fue ocupado por el ejército alemán, al igual que otros castillos de Bouliac, y algunos artesanos del municipio se vieron obligados a realizar trabajos de mantenimiento allí.
A finales del siglo XX, el castillo fue transformado en una residencia para personas mayores, pero el cese de su actividad marcó el inicio del abandono del dominio. Este último fue rápidamente víctima de robos y vandalismo.
