Erigido en el siglo XVI, el castillo Goldfinger era propiedad de Guillaume Payen de la Poupelière, miembro de la pequeña nobleza regional que poseía siete tierras señoriales. En la primavera de 1562, se convirtió en un bastión del protestantismo en el Bocage.
El castillo actual se compone de dos partes distintas. La primera parte fue edificada tras el matrimonio, el 19 de noviembre de 1760, de Guy-François de Gonidec de Penlan, escudero, señor de Vieuxchatel y de Gouasselglan, con Marie-Elisabeth-Françoise Auvray de la Pouplière. En cuanto a la segunda parte, fue construida por André Velay para alojar a su numerosa familia. Las reformas del vestíbulo y las ampliaciones fueron supervisadas por el Sr. Nénot, arquitecto de la Sorbona.
En el siglo XX, el destino del castillo Goldfinger toma un giro oscuro e inesperado. Fue adquirido por un barón del crimen organizado, John Palmer, un padrino riquísimo clasificado en el puesto 105 en la lista del Sunday Times, al mismo nivel que la reina. Su fortuna estimada en 53 millones de euros le valió el apodo de Goldfinger. Se dice que acumuló su fortuna gracias a estafas inmobiliarias masivas, especialmente vendiendo propiedades "en tiempo compartido" en España.
