Opført i det 16. århundrede var slottet Goldfinger ejet af Guillaume Payen de la Poupelière, medlem af den lokale lille adel, som ejede syv herregårde. I foråret 1562 blev det et fæstningsværk for protestantismen i Bocage.
Det nuværende slot består af to adskilte dele. Den første del blev opført efter brylluppet den 19. november 1760 mellem Guy-François de Gonidec de Penlan, ridder, herre af Vieuxchatel og Gouasselglan, og Marie-Elisabeth-Françoise Auvray de la Pouplière. Den anden del blev bygget af André Velay for at huse hans store familie. Indretningen af hallen og udvidelserne blev overvåget af hr. Nénot, arkitekt ved Sorbonne.
I det 20. århundrede tog skæbnen for slottet Goldfinger en mørk og uventet drejning. Det blev erhvervet af en baron inden for organiseret kriminalitet, John Palmer, en rig mafiaboss rangeret som nummer 105 på Sunday Times' liste, på samme niveau som dronningen. Hans formue, anslået til 53 millioner euro, har givet ham tilnavnet Goldfinger. Det siges, at han har opbygget sin formue gennem massive ejendomssvindel, især ved at sælge ejendomme "i timeshare" i Spanien.
