Edificato nel XVI secolo, il castello Goldfinger era di proprietà di Guillaume Payen de la Poupelière, membro della piccola nobiltà regionale che possedeva sette terre signorili. Nella primavera del 1562, divenne un baluardo del protestantesimo nel Bocage.
L'attuale castello è composto da due parti distinte. La prima parte fu edificata dopo il matrimonio, il 19 novembre 1760, di Guy-François de Gonidec de Penlan, scudiero, signore di Vieuxchatel e di Gouasselglan, con Marie-Elisabeth-Françoise Auvray de la Pouplière. Quanto alla seconda parte, fu costruita da André Velay per ospitare la sua numerosa famiglia. Gli allestimenti dell'atrio e gli ampliamenti furono supervisionati dal signor Nénot, architetto della Sorbona.
Nel XX secolo, il destino del castello Goldfinger prende una piega oscura e inaspettata. Viene acquisito da un barone del crimine organizzato, John Palmer, un boss ricchissimo classificato 105º nella classifica del Sunday Times, allo stesso livello della regina. La sua fortuna stimata in 53 milioni di euro gli vale il soprannome di Goldfinger. Si dice che abbia accumulato la sua ricchezza grazie a massicce truffe immobiliari, in particolare vendendo proprietà "in multiproprietà" in Spagna.
