Ridicat în secolul al XVI-lea, castelul Goldfinger a fost proprietatea lui Guillaume Payen de la Poupelière, membru al micii nobilimi regionale care deținea șapte domenii feudale. În primăvara anului 1562, a devenit un bastion al protestantismului în Bocage.
Castelul actual este compus din două părți distincte. Prima parte a fost construită după căsătoria, la 19 noiembrie 1760, a lui Guy-François de Gonidec de Penlan, scutier, stăpân al Vieuxchatel și Gouasselglan, cu Marie-Elisabeth-Françoise Auvray de la Pouplière. Cea de-a doua parte a fost ridicată de André Velay pentru a găzdui familia sa numeroasă. Amenajările holului și extinderile au fost supravegheate de dl Nénot, arhitect al Sorbonei.
În secolul al XX-lea, destinul castelului Goldfinger ia o turnură întunecată și neașteptată. Este achiziționat de un baron al crimei organizate, John Palmer, un mafiot extrem de bogat clasat pe locul 105 în topul Sunday Times, la același nivel cu regina. Averea sa, estimată la 53 de milioane de euro, i-a adus porecla Goldfinger. Se spune că și-a acumulat averea prin escrocherii imobiliare masive, în special prin vânzarea de proprietăți „în timp împărțit” în Spania.
