Das im 16. Jahrhundert errichtete Schloss Goldfinger gehörte Guillaume Payen de la Poupelière, einem Mitglied des niederen regionalen Adels, der sieben Herrschaftslande besaß. Im Frühjahr 1562 wurde es zu einer Bastion des Protestantismus im Bocage.
Das heutige Schloss besteht aus zwei getrennten Teilen. Der erste Teil wurde nach der Hochzeit von Guy-François de Gonidec de Penlan, Knappe, Herr von Vieuxchatel und Gouasselglan, mit Marie-Elisabeth-Françoise Auvray de la Pouplière am 19. November 1760 errichtet. Der zweite Teil wurde von André Velay gebaut, um seine große Familie unterzubringen. Die Gestaltung der Halle und die Erweiterungen wurden von Herrn Nénot, Architekt der Sorbonne, überwacht.
Im 20. Jahrhundert nimmt das Schicksal des Schlosses Goldfinger eine dunkle und unerwartete Wendung. Es wird von einem Verbrecherbaron, John Palmer, einem äußerst reichen Paten, der auf Platz 105 der Sunday Times-Liste steht – auf derselben Stufe wie die Königin – erworben. Sein Vermögen wird auf 53 Millionen Euro geschätzt, was ihm den Spitznamen Goldfinger einbringt. Man sagt, er habe sein Vermögen durch massive Immobilienbetrügereien angehäuft, insbesondere durch den Verkauf von „Timesharing“-Immobilien in Spanien.
