В 1824 году на территории замка Дракона находились сельское здание и дом 5-го класса, принадлежавшие семье Виньера. Эта усадьба была разделена по наследству около 1850 года. В 1860 году мадам Жардель-Ларок, урожденная Жерар, приобрела земли в Драконе и построила дом 2-го класса, завершённый в 1862 году. В 1874 году Ж.-А. Шарриоль купил эту собственность, частично снес существующий дом и построил новый комплекс — замок, завершённый в 1876 и 1877 годах. Он также построил вместе с замком конюшни, дом смотрителя и великолепную голубятню в форме пагоды, которые до сих пор видны.
В 1882 году замок был приобретён вдовой Германа Крузе, Софи Лоутон, и долгое время оставался в этой семье. Во время Второй мировой войны его оккупировала немецкая армия, как и другие замки Бульяка, и некоторые ремесленники из коммуны были вынуждены выполнять там работы по обслуживанию.
В конце XX века замок был преобразован в дом престарелых, но прекращение его деятельности ознаменовало начало запустения усадьбы. Она быстро стала жертвой краж и вандализма.
