În 1824, pe domeniul Château du Dragon se aflau o clădire rurală și o casă de clasa 5, proprietăți ale familiei de Vigneras. Acest domeniu a fost împărțit prin moștenire în jurul anului 1850. În 1860, doamna Jardel-Laroque, născută Gérard, a achiziționat terenuri la Dragon și a construit o casă de clasa 2, finalizată în 1862. În 1874, J.-A. Charriol a cumpărat această proprietate, a demolat parțial casa existentă și a ridicat un nou ansamblu, castelul, finalizat în 1876 și terminat în 1877. De asemenea, a construit împreună cu castelul grajdurile, casa paznicului și un superb coteț pentru porumbei în formă de pagodă, care sunt încă vizibile astăzi.
În 1882, castelul a fost achiziționat de văduva lui Herman Cruse, Sophie Lawton, și a rămas mult timp în această familie. În timpul celui de-al Doilea Război Mondial, a fost ocupat de armata germană, la fel ca și alte castele din Bouliac, iar unii meșteri din comună au fost obligați să efectueze lucrări de întreținere.
La sfârșitul secolului al XX-lea, castelul a fost transformat într-un azil de bătrâni, dar încetarea activității sale a marcat începutul abandonării domeniului. Acesta a devenit rapid victimă a furturilor și vandalismului.
