Oppført på 1500-tallet, var slottet Goldfinger eiendom tilhørende Guillaume Payen de la Poupelière, medlem av den lokale småadelen som eide syv herregårder. Våren 1562 ble det et sentrum for protestantismen i Bocage.
Det nåværende slottet består av to separate deler. Den første delen ble bygget etter ekteskapet den 19. november 1760 mellom Guy-François de Gonidec de Penlan, væpner, herre av Vieuxchatel og Gouasselglan, og Marie-Elisabeth-Françoise Auvray de la Pouplière. Den andre delen ble bygget av André Velay for å huse hans store familie. Innredningen av hallen og utvidelsene ble overvåket av M. Nénot, arkitekt ved Sorbonne.
På 1900-tallet tok skjebnen til slottet Goldfinger en mørk og uventet vending. Det ble kjøpt opp av en baron innen organisert kriminalitet, John Palmer, en svært rik mafialeder rangert som nummer 105 på Sunday Times sin liste, på samme plass som dronningen. Hans formue, anslått til 53 millioner euro, ga ham kallenavnet Goldfinger. Det sies at han skal ha samlet sin formue gjennom massive eiendomssvindler, blant annet ved å selge "timeshare"-eiendommer i Spania.
