Wzniesiony w XVI wieku, zamek Goldfinger należał do Guillaume'a Payena de la Poupelière, członka lokalnej drobnej szlachty posiadającego siedem ziem feudalnych. Wiosną 1562 roku stał się bastionem protestantyzmu w Bocage.
Obecny zamek składa się z dwóch odrębnych części. Pierwsza część została wzniesiona po ślubie, 19 listopada 1760 roku, Guya-François de Gonidec de Penlan, giermka, pana Vieuxchatel i Gouasselglan, z Marie-Elisabeth-Françoise Auvray de la Pouplière. Druga część została zbudowana przez André Velaya, aby pomieścić jego liczną rodzinę. Prace nad hallem i rozbudową nadzorował pan Nénot, architekt Sorbony.
W XX wieku los zamku Goldfinger przybrał mroczny i nieoczekiwany obrót. Został nabyty przez barona zorganizowanej przestępczości, Johna Palmera, bogatego bossa, który zajmował 105. miejsce na liście Sunday Times, na tym samym poziomie co królowa. Jego majątek, szacowany na 53 miliony euro, przyniósł mu przydomek Goldfinger. Mówi się, że zgromadził swój majątek dzięki masowym oszustwom nieruchomościowym, w szczególności sprzedając nieruchomości "w systemie timeshare" w Hiszpanii.
