Opgericht in de 16e eeuw, was kasteel Goldfinger eigendom van Guillaume Payen de la Poupelière, lid van de kleine regionale adel die zeven heerlijkheden bezat. In het voorjaar van 1562 werd het een bolwerk van het protestantisme in de Bocage.
Het huidige kasteel bestaat uit twee afzonderlijke delen. Het eerste deel werd gebouwd na het huwelijk op 19 november 1760 van Guy-François de Gonidec de Penlan, schildknaap, heer van Vieuxchatel en Gouasselglan, met Marie-Elisabeth-Françoise Auvray de la Pouplière. Het tweede deel werd gebouwd door André Velay om zijn grote gezin te huisvesten. De aanpassingen van de hal en de uitbreidingen werden begeleid door de heer Nénot, architect van de Sorbonne.
In de 20e eeuw neemt het lot van kasteel Goldfinger een donkere en onverwachte wending. Het wordt verworven door een baron van de georganiseerde misdaad, John Palmer, een zeer rijke maffiabaas die op de 105e plaats staat in de ranglijst van de Sunday Times, op dezelfde plaats als de koningin. Zijn vermogen, geschat op 53 miljoen euro, levert hem de bijnaam Goldfinger op. Er wordt gezegd dat hij zijn fortuin heeft vergaard door grootschalige vastgoedfraude, met name door het verkopen van "timeshare"-eigenschappen in Spanje.
