Zámek Goldfinger, postavený v 16. století, patřil Guillaume Payen de la Poupelière, členovi drobné regionální šlechty, který vlastnil sedm pánských statků. Na jaře roku 1562 se stal baštou protestantismu v oblasti Bocage.
Současný zámek se skládá ze dvou odlišných částí. První část byla postavena po svatbě 19. listopadu 1760 mezi Guy-François de Gonidec de Penlanem, panošem, pánem na Vieuxchatel a Gouasselglan, a Marie-Elisabeth-Françoise Auvray de la Pouplière. Druhá část byla postavena André Velayem, aby ubytovala jeho početnou rodinu. Úpravy haly a rozšíření byly dozorovány panem Nénotem, architektem Sorbonny.
Ve 20. století nabral osud zámku Goldfinger temný a nečekaný obrat. Zámek byl získán baronem organizovaného zločinu Johnem Palmerem, bohatým bossem, který byl zařazen na 105. místo v žebříčku Sunday Times, na stejné úrovni jako královna. Jeho majetek odhadovaný na 53 milionů eur mu vynesl přezdívku Goldfinger. Říká se, že své jmění nashromáždil díky rozsáhlým realitním podvodům, zejména prodejem nemovitostí ve formě „časového sdílení“ ve Španělsku.
