Das im 16. Jahrhundert erbaute Schloss Goldfinger gehörte Guillaume Payen de la Poupelière, einem Mitglied des lokalen Landadels, der sieben herrschaftliche Güter besaß. Im Frühjahr 1562 wurde es zu einer Hochburg des Protestantismus in der Bocage-Region.
Das heutige Schloss besteht aus zwei separaten Teilen. Der erste Teil entstand nach der Hochzeit von Guy-François de Gonidec de Penlan, Gutsherr von Vieuxchâtel und Gouasselglan, mit Marie-Elisabeth-Françoise Auvray de la Pouplière am 19. November 1760. Der zweite Teil wurde von André Velay für seine große Familie erbaut. Die Renovierung des Saals und die Erweiterungen wurden von M. Nénot, dem Architekten der Sorbonne, geleitet.
Im 20. Jahrhundert nahm das Schicksal von Goldfinger Castle eine düstere und unerwartete Wendung. Es wurde von John Palmer erworben, einem Boss des organisierten Verbrechens und extrem wohlhabenden Paten, der auf Platz 105 der Sunday Times Rich List stand – demselben Platz wie die Queen. Sein Vermögen, geschätzt auf 53 Millionen Euro, brachte ihm den Spitznamen Goldfinger ein. Man sagt, er habe seinen Reichtum durch massive Immobilienbetrügereien angehäuft, insbesondere durch den Verkauf von Timesharing-Immobilien in Spanien.
