16. vuosisadalla rakennettu Goldfingerin linna kuului Guillaume Payen de la Poupelièrelle, alueellisen pikkuaateliston jäsenelle, jolla oli seitsemän herrasmaata. Keväällä 1562 siitä tuli protestantismin linnake Bocagessa.
Nykyinen linna koostuu kahdesta erillisestä osasta. Ensimmäinen osa rakennettiin Guy-François de Gonidec de Penlanin, ritarin, Vieuxchatelin ja Gouasselglanin herran, ja Marie-Elisabeth-Françoise Auvray de la Pouplièren avioliiton jälkeen 19. marraskuuta 1760. Toinen osa rakennettiin André Velayn toimesta hänen suurelle perheelleen. Aulan järjestelyt ja laajennukset valvoi Sorbonnen arkkitehti herra Nénot.
20. vuosisadalla Goldfingerin linnan kohtalo sai synkän ja odottamattoman käänteen. Sen osti järjestäytyneen rikollisuuden paroni John Palmer, erittäin varakas paroni, joka oli sijoittunut Sunday Timesin listalla sijalle 105, samalle tasolle kuningattaren kanssa. Hänen omaisuutensa, jonka arvo on arvioitu 53 miljoonaksi euroksi, ansaitsi hänelle lempinimen Goldfinger. Sanotaan, että hän olisi kartuttanut omaisuutensa massiivisilla kiinteistöpetoksilla, erityisesti myymällä Espanjassa "aikajakso-osuuksia" kiinteistöistä.
