La artista Joséphine Baker contribuyó a dar a conocer el castillo a nivel mundial ya que fue aquí donde crió a sus 12 hijos adoptados. Sin embargo la historia del castillo es mucho más larga que los 30 años que la bailarina pasó allí. Fue construido para ser la residencia de Claude de Cardaillac a finales del siglo XV, en la época de los señores de Caumont. El escudo de esta casa nobiliaria aún preside la mansión. La familia abandonó el catolicismo por la doctrina protestante y controlaron el castillo hasta 1578, en esa fecha la fortaleza fue reconquistada por los caóticos con
métodos poco convencionales. Tras la revolución francesa el castillo fue abandonado. Así será hasta 1900 en que fue recuperado por por Charles Auguste Claverie que realizó grandes reformas que duraron hasta 1914. El castillo recuperó su alma y fue primero alquilado y después adquirido por Josephine Baker y su marido que tuvieron que venderlo por problemas financieros. Hoy en día el castillo de Milandes acoge una exposición sobre Josephine Baker y espectáculos en la época estival
