В 1824 году на территории замка Дракона находились сельское здание и дом 5-го класса, принадлежавшие семье Виньера. Эта усадьба была разделена по наследству около 1850 года. В 1860 году мадам Жардель-Ларок, урожденная Жерар, приобрела земли у Дракона и построила дом 2-го класса, завершённый в 1862 году. В 1874 году Ж.-А. Шарриоль купил эту собственность, частично снес существующий дом и построил новый комплекс — замок, завершённый в 1876 и окончательно достроенный в 1877 году. Он также построил вместе с замком конюшни, дом смотрителя и великолепную голубятню в форме пагоды, которые до сих пор видны.
В 1882 году замок был приобретён вдовой Германа Крузе, Софи Лоутон, и долгое время оставался в этой семье. Во время Второй мировой войны он был оккупирован немецкой армией, как и другие замки Бульяка, и некоторые ремесленники коммуны были вынуждены выполнять там работы по обслуживанию.
В конце XX века замок был преобразован в дом престарелых, но прекращение его деятельности ознаменовало начало запустения усадьбы. Последняя быстро стала жертвой краж и вандализма.
