Érigé au XVIe siècle, le château Goldfinger était la propriété de Guillaume Payen de la Poupelière, membre de la petite noblesse régionale possédant sept terres seigneuriales. Au printemps 1562, il devint un bastion du protestantisme dans le Bocage.
Le château actuel se compose de deux parties distinctes. La première partie fut édifiée après le mariage, le 19 novembre 1760, de Guy-François de Gonidec de Penlan, écuyer, seigneur de Vieuxchatel et de Gouasselglan, avec Marie-Elisabeth-Françoise Auvray de la Pouplière. Quant à la seconde partie, elle fut construite par André Velay pour héberger sa nombreuse famille. Les aménagements du hall et les agrandissements furent supervisés par M. Nénot, architecte de la Sorbonne.
Au XXe siècle, le destin du château Goldfinger prend une tournure sombre et inattendue. Il est acquis par un baron du crime organisé, John Palmer, un parrain richissime classé 105e au palmarès du Sunday Times, au même rang que la reine. Sa fortune estimée à 53 millions d'euros lui vaut le surnom de Goldfinger. On dit qu'il aurait amassé sa fortune grâce à des escroqueries immobilières massives, notamment en vendant des biens "en temps partagé" en Espagne.
