A 16. században emelt Goldfinger kastély Guillaume Payen de la Poupelière tulajdona volt, aki a helyi kisnemesség tagja volt, és hét földesúri birtokkal rendelkezett. 1562 tavaszán a Bocage protestantizmusának bástyájává vált.
A jelenlegi kastély két különálló részből áll. Az első részt 1760. november 19-én építették Guy-François de Gonidec de Penlan, vitéz, Vieuxchatel és Gouasselglan ura, és Marie-Elisabeth-Françoise Auvray de la Pouplière házassága után. A második részt André Velay építette, hogy nagy családját elhelyezze. A hall átalakításait és a bővítéseket M. Nénot, a Sorbonne építésze felügyelte.
A 20. században a Goldfinger kastély sorsa sötét és váratlan fordulatot vett. Egy szervezett bűnözési báró, John Palmer vásárolta meg, aki a Sunday Times listáján a 105. helyen áll, ugyanazon a rangon, mint a királynő. Vagyona, amelyet 53 millió euróra becsülnek, a Goldfinger becenevet adta neki. Azt mondják, hogy vagyonát nagyszabású ingatlan csalásokkal szerezte, különösen "időmegosztásos" ingatlanok eladásával Spanyolországban.
