A 16. században emelt Goldfinger kastély Guillaume Payen de la Poupelière tulajdona volt, aki a helyi kisnemesség tagja volt, és hét földesúri birtokkal rendelkezett. 1562 tavaszán a Bocage protestantizmusának bástyájává vált.
A jelenlegi kastély két különálló részből áll. Az első részt 1760. november 19-én építették Guy-François de Gonidec de Penlan, Vieuxchatel és Gouasselglan úrnoka, és Marie-Elisabeth-Françoise Auvray de la Pouplière házassága után. A második részt André Velay építette, hogy nagy családját elhelyezze. A hall átalakításait és a bővítéseket M. Nénot, a Sorbonne építésze felügyelte.
A 20. században a Goldfinger kastély sorsa sötét és váratlan fordulatot vett. Egy szervezett bűnözési báró, John Palmer vásárolta meg, aki a Sunday Times listáján a 105. helyen állt, ugyanazon a rangon, mint a királynő. Vagyona, amelyet 53 millió euróra becsülnek, a Goldfinger becenevet adta neki. Azt mondják, hogy hatalmas ingatlanos csalásokból szerezte vagyonát, különösen Spanyolországban "időmegosztásos" ingatlanok eladásával.
