Ridicat în secolul al XVI-lea, castelul Goldfinger era proprietatea lui Guillaume Payen de la Poupelière, membru al micii nobilimi regionale care deținea șapte domenii feudale. În primăvara anului 1562, a devenit un bastion al protestantismului în Bocage.
Castelul actual este compus din două părți distincte. Prima parte a fost construită după căsătoria, la 19 noiembrie 1760, a lui Guy-François de Gonidec de Penlan, scutier, stăpân al Vieuxchatel și Gouasselglan, cu Marie-Elisabeth-Françoise Auvray de la Pouplière. Cât despre a doua parte, aceasta a fost ridicată de André Velay pentru a găzdui familia sa numeroasă. Amenajările holului și extinderile au fost supravegheate de dl. Nénot, arhitect al Sorbonei.
În secolul al XX-lea, destinul castelului Goldfinger ia o turnură întunecată și neașteptată. Este achiziționat de un baron al crimei organizate, John Palmer, un mafiot extrem de bogat clasat pe locul 105 în topul Sunday Times, la același nivel cu regina. Averea sa estimată la 53 de milioane de euro îi aduce porecla Goldfinger. Se spune că și-ar fi adunat averea prin escrocherii imobiliare masive, în special vânzând proprietăți „în timp împărțit” în Spania.
