Joséphine Baker heeft bijgedragen aan de wereldwijde bekendheid het kasteel van de Milandes. De zangeres en danseres heeft hier 12 kinderen op laten groeien.
Echter, de geschiedenis van het kasteel van Milandes is niet alleen die van deze 30 jaar. Het werd eind 15e eeuw gebouwd voor Claude de Cardaillac in de tijd van de heren van Caumont. De wapens van de familie Caumont hangen nog steeds hoog in het hart van het verblijf.
Door een omschakeling van het katholicisme naar het protestantisme hebben de heren van Caumont het kasteel van de Milandes overgenomen tot in 1578. De datum wanneer de katholieken het weer met onconventionele methoden overnamen tot in 1652. Waarna de revolutie aankwam die synoniem is aan de val van het kasteel van de Millandes. Hij zal verlaten en slecht onderhouden blijven tot aan 1850. In 1900 nam Charles Auguste Claverie het kasteel in zijn bezit en ondernam gigantische verbouwingen tot in 1914, samen met bekende architecten en hoveniers.
Hij gaf de Milandes zijn waardige ziel terug. Josephine Baker en haar man huurde het kasteel eerst om hem later in het geheel over te nemen en in hun bezit te hebben tot in 1969. Na wat financiële problemen werd het kasteel geveild. Dit trof Josephine Baker hard aan. Meerdere families volgden hierna. Het kasteel herbergt vandaag de dag een expositie over Joséphine Baker, restauratie werk wordt regelmatig uitgevoerd, en er zijn roofvogels shows in de zomer voor het publiek
