L'Orphelinat Émile Louis, érigé en 1906, a connu une histoire mouvementée depuis sa construction. Initialement destiné à accueillir des orphelins, il a rapidement été confronté à des difficultés financières, aggravées pendant la Première Guerre mondiale. Durant ce conflit, l'orphelinat et son propriétaire ont accumulé des dettes importantes.
En 1939, avec le déclenchement de la Seconde Guerre mondiale, l'orphelinat a été abandonné et réquisitionné par les Allemands pour servir de camp d'emprisonnement. Après la guerre, il est passé sous la responsabilité de l'éducation nationale, devenant un centre de formation pour les futurs professeurs de sport. Cependant, en 1947, il a de nouveau été abandonné.
En 1952, une nouvelle affectation lui a été donnée dans le cadre d'un ensemble de Centres Hospitaliers Universitaires (CHU). Il a principalement fonctionné comme maison de retraite, accueillant également des personnes en convalescence. Cependant, les coûts d'entretien et de chauffage devenant prohibitifs, il a été abandonné en 1992.
Depuis lors, le château est resté à l'abandon, et son état de dégradation s'est considérablement accentué. Cependant, le site est désormais sous surveillance et a été condamné, rendant toute visite dangereuse et illégale.