La construction du château, bel exemple de « mariage entre la pierre et le roc » fut, pour les parties les plus anciennes, l'oeuvre de Jean de Chaudenay au Moyen Âge. Au temps de sa splendeur, il a compté jusqu'à 6 tours.
L'impressionnant donjon n'a été construit qu'au 15ème siècle, vers la fin du Moyen Age, ainsi qu'en attestent les fenêtres à meneaux. Il n'est plus aujourd'hui qu'une coquille vide où subsistent dans les murs les traces des 4 niveaux qui le constituaient.
Les appartements actuellement occupés par les propriétaires sont d'anciens logis du 16ème siècle.
Légende : Le frère jumeau de Louis XIV, le célèbre « masque de fer » aurait été enfermé plusieurs années au château. Des cartes postales du siècle précisent même qu'il était détenu dans la tour de Giseh.