Wzniesiony w XVI wieku, zamek Goldfinger należał do Guillaume'a Payena de la Poupelière, członka lokalnej drobnej szlachty posiadającego siedem ziem feudalnych. Wiosną 1562 roku stał się bastionem protestantyzmu w Bocage.
Obecny zamek składa się z dwóch odrębnych części. Pierwsza część została wzniesiona po ślubie 19 listopada 1760 roku Guya-François de Gonidec de Penlan, giermka, pana Vieuxchatel i Gouasselglan, z Marie-Elisabeth-Françoise Auvray de la Pouplière. Druga część została zbudowana przez André Velaya, aby pomieścić jego liczną rodzinę. Prace nad hallem i rozbudową nadzorował pan Nénot, architekt Sorbony.
W XX wieku los zamku Goldfinger przybrał mroczny i nieoczekiwany obrót. Został on nabyty przez barona zorganizowanej przestępczości, Johna Palmera, bogatego bossa, który zajmował 105. miejsce na liście Sunday Times, na równi z królową. Jego majątek, szacowany na 53 miliony euro, przyniósł mu przydomek Goldfinger. Mówi się, że zgromadził swój majątek dzięki masowym oszustwom nieruchomościowym, w tym sprzedaży nieruchomości na zasadzie "czasowego współwłasności" w Hiszpanii.
