Postavený v 16. století, zámek Goldfinger patřil Guillaume Payen de la Poupelière, členovi místní drobné šlechty, který vlastnil sedm pánských statků. Na jaře roku 1562 se stal baštou protestantismu v oblasti Bocage.
Současný zámek se skládá ze dvou odlišných částí. První část byla postavena po svatbě 19. listopadu 1760 mezi Guy-François de Gonidec de Penlan, panošem, pánem na Vieuxchatel a Gouasselglan, a Marie-Elisabeth-Françoise Auvray de la Pouplière. Druhá část byla postavena André Velayem, aby ubytovala jeho početnou rodinu. Úpravy haly a rozšíření dohlížel pan Nénot, architekt ze Sorbonny.
Ve 20. století nabral osud zámku Goldfinger temný a nečekaný obrat. Zámek byl získán baronem organizovaného zločinu, Johnem Palmerem, bohatým kmotrem zařazeným na 105. místě v žebříčku Sunday Times, na stejné úrovni jako královna. Jeho majetek odhadovaný na 53 milionů eur mu vynesl přezdívku Goldfinger. Říká se, že své jmění nashromáždil díky rozsáhlým realitním podvodům, zejména prodejem nemovitostí ve "sdíleném vlastnictví" ve Španělsku.
