Sous Philippe le Bon, l'intérêt faiblit, et seul un petit nombre de parents du duc, dont les princes de Nevers, ses neveux, y vécurent quelque temps.

   Charles le Téméraire n'y passa lui-même, de toute sa vie, qu'une journée, la veille de son entrée solennelle à Dijon. Sous son principat, le château servit de prison à la duchesse de Savoie, sœur de Louis XI.

   Après le rattachement du duché à la couronne, le château continua à se dégrader et tomba peu à peu en ruine. Sa déchéance fut consommée en 1636. Il fut alors, au cours de la guerre de Trente Ans, détruit à coup de canon, puis incendié, comme d'ailleurs tout le village de Rouvres. Subsistèrent néanmoins des ruines imposantes. Sous le règne de Louis XV, elles furent utilisées comme carrières de pierre, les fossés furent comblés et le terrain loti. Il ne reste actuellement aucune trace de ce château, ni aucune représentation iconographique ; il n'est plus connu que par des textes.

   Au début du XV ème siècle, c'était une bâtisse vénérable, un grand ensemble de bâtiments, mi-forteresse mi-demeure de plaisance, entourés de fossés larges et profonds et d'une enceinte de hauts murs de pierre, renforcée par des tours.