Uppfört på 1500-talet var slottet Goldfinger ägt av Guillaume Payen de la Poupelière, medlem av den lilla regionala adeln som ägde sju herresäten. Våren 1562 blev det en fästning för protestantismen i Bocage.
Det nuvarande slottet består av två separata delar. Den första delen byggdes efter äktenskapet den 19 november 1760 mellan Guy-François de Gonidec de Penlan, skäkt, herre till Vieuxchatel och Gouasselglan, och Marie-Elisabeth-Françoise Auvray de la Pouplière. Den andra delen byggdes av André Velay för att rymma hans stora familj. Hallens inredning och utbyggnader övervakades av herr Nénot, arkitekt vid Sorbonne.
Under 1900-talet tar slottet Goldfingers öde en mörk och oväntad vändning. Det köps av en organiserad brottslighetens baron, John Palmer, en mycket rik maffiaboss rankad 105:a på Sunday Times lista, på samma plats som drottningen. Hans förmögenhet, uppskattad till 53 miljoner euro, har gett honom smeknamnet Goldfinger. Det sägs att han samlat sin förmögenhet genom omfattande fastighetsbedrägerier, särskilt genom att sälja "timeshare"-fastigheter i Spanien.
