Izgrađen u 16. stoljeću, dvorac Goldfinger bio je u vlasništvu Guillauma Payena de la Poupelière, člana manje regionalne plemstva koji je posjedovao sedam gospodarskih zemljišta. U proljeće 1562. postao je uporište protestantizma u Bocageu.
Trenutni dvorac sastoji se od dva odvojena dijela. Prvi dio izgrađen je nakon vjenčanja 19. studenog 1760. godine između Guya-Françoisa de Gonideca de Penlana, viteza, gospodara Vieuxchatela i Gouasselglana, i Marie-Elisabeth-Françoise Auvray de la Pouplière. Drugi dio izgradio je André Velay kako bi smjestio svoju brojniju obitelj. Uređenja dvorane i proširenja nadzirao je gospodin Nénot, arhitekt sa Sorbone.
U 20. stoljeću sudbina dvorca Goldfinger dobiva mračan i neočekivan zaokret. Kupuje ga barun organiziranog kriminala, John Palmer, bogati mafijaš rangiran kao 105. na ljestvici Sunday Timesa, na istoj razini kao i kraljica. Njegovo bogatstvo procijenjeno na 53 milijuna eura donijelo mu je nadimak Goldfinger. Kaže se da je svoje bogatstvo stekao masovnim nekretninskim prevarama, posebno prodajom nekretnina na principu "timeshare" u Španjolskoj.
