Erguido no século XVI, o castelo Goldfinger era propriedade de Guillaume Payen de la Poupelière, membro da pequena nobreza regional que possuía sete terras senhoriais. Na primavera de 1562, tornou-se um bastião do protestantismo no Bocage.
O castelo atual é composto por duas partes distintas. A primeira parte foi construída após o casamento, em 19 de novembro de 1760, de Guy-François de Gonidec de Penlan, escudeiro, senhor de Vieuxchatel e de Gouasselglan, com Marie-Elisabeth-Françoise Auvray de la Pouplière. Quanto à segunda parte, foi construída por André Velay para abrigar sua numerosa família. As reformas do hall e as ampliações foram supervisionadas pelo Sr. Nénot, arquiteto da Sorbonne.
No século XX, o destino do castelo Goldfinger toma um rumo sombrio e inesperado. Ele foi adquirido por um barão do crime organizado, John Palmer, um mafioso extremamente rico classificado em 105º no ranking do Sunday Times, na mesma posição que a rainha. Sua fortuna estimada em 53 milhões de euros lhe valeu o apelido de Goldfinger. Diz-se que ele teria acumulado sua fortuna graças a grandes fraudes imobiliárias, especialmente vendendo propriedades em "tempo compartilhado" na Espanha.
