En 1824, sur le domaine du Château du Dragon, se trouvaient un bâtiment rural et une maison de classe 5, propriétés de la famille de Vigneras. Ce domaine fut partagé par héritage vers 1850. En 1860, Mme Jardel-Laroque, née Gérard, acquit des terrains au Dragon et fit ériger une maison de classe 2, achevée en 1862. En 1874, J.-A. Charriol acheta cette propriété, fit partiellement démolir la maison existante et fit édifier un nouvel ensemble, le château, achevé en 1876 et achevé en 1877. Il fit également construire, avec le château, les écuries, la maison du gardien et un superbe pigeonnier en forme de pagode, qui sont encore visibles aujourd'hui.
En 1882, le château fut acquis par la veuve d'Herman Cruse, Sophie Lawton, et resta longtemps dans cette famille. Pendant la Seconde Guerre mondiale, il fut occupé par l'armée allemande, tout comme d'autres châteaux de Bouliac, et certains artisans de la commune furent contraints d'y effectuer des travaux d'entretien.
À la fin du XXe siècle, le château fut transformé en maison de retraite, mais la cessation de son activité marqua le début de l'abandon du domaine. Ce dernier fut rapidement victime de vols et de vandalisme.
