Opført i det 16. århundrede var slottet La Poupelière residens for Guillaume Payen de la Poupelière, medlem af den lokale lille adel og ejer af syv herregårdsjorder. I foråret 1562 blev det et fæstningsværk for protestantismen i Bocage-området.
Det nuværende slot består af to adskilte dele. Den første blev opført efter ægteskabet mellem Guy-François de Gonidec de Penlan, væbner, herre til Vieuxchatel og Gouasselglan, og Marie-Elisabeth-Françoise Auvray de la Pouplière den 19. november 1760. Den anden del blev bygget af André Velay for at huse hans store familie. Renoverings- og udvidelsesarbejderne, inklusive hallen, blev ledet af hr. Nénot, arkitekt ved Sorbonne.
I det 20. århundrede blev La Poupelières skæbne indhyllet i en dyster stemning. Det blev købt af en baron inden for organiseret kriminalitet, John Palmer, en rig mafiaoverhoved, rangeret som nummer 105 på Sunday Times’ liste, på samme niveau som dronningen. Med en formue anslået til 53 millioner euro blev han kaldt Goldfinger. Der går rygter om, at hans rigdom blev opnået gennem omfattende ejendomssvindel, især inden for timesharing-salg i Spanien. Slottet er blevet opkøbt, og stedet er ikke længere åbent for besøg.
