شُيدت قلعة جولدفينجر في القرن السادس عشر، وكانت ملكًا لغيوم بايان دي لا بوبليير، عضو من النبلاء الصغار في المنطقة ومالك لسبع أراضٍ إقطاعية. في ربيع عام 1562، أصبحت القلعة معقلًا للبروتستانتية في بوكاج.
تتكون القلعة الحالية من جزأين مميزين. تم بناء الجزء الأول بعد الزواج في 19 نوفمبر 1760، بين جاي-فرانسوا دي جونيك دي بنلان، فارس وسيد فيوشتاتيل وغواسيلغلان، وماري-إليزابيث-فرانسواز أوفراي دي لا بوبليير. أما الجزء الثاني، فقد بناه أندريه فيلاي لاستضافة عائلته الكبيرة. تم الإشراف على تجهيزات القاعة والتوسعات من قبل السيد نينوت، مهندس سوربون.
في القرن العشرين، أخذ مصير قلعة جولدفينجر منعطفًا مظلمًا وغير متوقع. تم الاستحواذ عليها من قبل بارون الجريمة المنظمة، جون بالمر، زعيم عصابة ثري جدًا مصنف في المرتبة 105 في قائمة Sunday Times، في نفس المرتبة مع الملكة. تُقدّر ثروته بـ 53 مليون يورو مما أكسبه لقب جولدفينجر. يُقال إنه جمع ثروته من خلال عمليات احتيال عقارية ضخمة، لا سيما ببيع ممتلكات "بنظام الوقت المشترك" في إسبانيا.
