Χτισμένο τον 16ο αιώνα, το κάστρο Goldfinger ανήκε στον Guillaume Payen de la Poupelière, μέλος της μικρής τοπικής αριστοκρατίας που κατείχε επτά φέουδα. Την άνοιξη του 1562, έγινε οχυρό του προτεσταντισμού στο Bocage.
Το τρέχον κάστρο αποτελείται από δύο διακριτά μέρη. Το πρώτο μέρος χτίστηκε μετά τον γάμο, στις 19 Νοεμβρίου 1760, του Guy-François de Gonidec de Penlan, ιππότη, άρχοντα του Vieuxchatel και του Gouasselglan, με τη Marie-Elisabeth-Françoise Auvray de la Pouplière. Όσο για το δεύτερο μέρος, κατασκευάστηκε από τον André Velay για να στεγάσει την πολυμελή οικογένειά του. Οι διαρρυθμίσεις του χολ και οι επεκτάσεις επιβλέφθηκαν από τον κ. Nénot, αρχιτέκτονα της Σορβόννης.
Στον 20ό αιώνα, η μοίρα του κάστρου Goldfinger παίρνει μια σκοτεινή και απρόσμενη τροπή. Αγοράστηκε από έναν βαρόνο της οργανωμένης εγκληματικότητας, τον John Palmer, έναν πλούσιο βαρόνο που κατατάσσεται 105ος στη λίστα του Sunday Times, στην ίδια θέση με τη βασίλισσα. Η περιουσία του, εκτιμώμενη στα 53 εκατομμύρια ευρώ, του χάρισε το παρατσούκλι Goldfinger. Λέγεται ότι συγκέντρωσε την περιουσία του μέσω μαζικών απάτων στον τομέα των ακινήτων, κυρίως πουλώντας ιδιοκτησίες "σε μερική ιδιοκτησία" στην Ισπανία.
