Opført i det 16. århundrede var Château de la Poupelière residens for Guillaume Payen de la Poupelière, medlem af den lokale lille adel og ejer af syv herregårdsjorder. I foråret 1562 blev det en bastion for protestantismen i Bocage-regionen.
Det nuværende slot består af to adskilte dele. Den første blev opført efter ægteskabet mellem Guy-François de Gonidec de Penlan, rytter og herre af Vieuxchatel og Gouasselglan, og Marie-Elisabeth-Françoise Auvray de la Pouplière den 19. november 1760. Den anden del blev bygget af André Velay for at huse hans store familie. Renoverings- og udvidelsesarbejderne, inklusive hallen, blev overvåget af M. Nénot, arkitekt ved Sorbonne.
I det 20. århundrede blev Château de la Poupelières skæbne indhyllet i en dyster atmosfære. Det blev købt af en baron inden for organiseret kriminalitet, John Palmer, en velhavende mafioso rangeret som nummer 105 på Sunday Times’ liste, på samme niveau som dronningen. Med en formue anslået til 53 millioner euro blev han kaldt Goldfinger. Der går rygter om, at hans rigdom blev opnået gennem massive ejendomssvindel, især inden for timeshare-salg i Spanien. Slottet er blevet opkøbt, og stedet er ikke længere åbent for besøg.
