Uppfört på 1500-talet ägdes slottet Goldfinger av Guillaume Payen de la Poupelière, medlem av den lilla regionala adeln som ägde sju herresäten. Våren 1562 blev det en fästning för protestantismen i Bocage.
Det nuvarande slottet består av två separata delar. Den första delen byggdes efter äktenskapet den 19 november 1760 mellan Guy-François de Gonidec de Penlan, skärare, herre över Vieuxchatel och Gouasselglan, och Marie-Elisabeth-Françoise Auvray de la Pouplière. Den andra delen byggdes av André Velay för att rymma hans stora familj. Hallens inredning och utbyggnader övervakades av M. Nénot, arkitekt vid Sorbonne.
Under 1900-talet tog slottet Goldfingers öde en mörk och oväntad vändning. Det köptes av en organiserad brottslighetens baron, John Palmer, en mycket rik maffiaboss rankad som nummer 105 på Sunday Times lista, på samma nivå som drottningen. Hans förmögenhet, uppskattad till 53 miljoner euro, gav honom smeknamnet Goldfinger. Det sägs att han samlade sin förmögenhet genom omfattande fastighetsbedrägerier, särskilt genom att sälja "timeshare"-fastigheter i Spanien.
