Plus ancien monument de Clermont, le donjon a été construit entre la fin du XIe siècle et le premier quart du XIIe siècle par Renaud II, Comte de Clermont.
Perdant son intérêt défensif au cours des siècles, le monument est délaissé jusqu’à son rachat en 1702 par la Princesse d’Harcourt, qui le transforme pour devenir sa résidence (aquarelle).
Devenu propriété de l’Etat en 1805, le Donjon va être transformé en prison.
Entouré de nombreux bâtiments, il devient en 1826 l’une des maisons centrales de détention pour femmes, puis en 1908, une Ecole de préservation pour jeunes filles délinquantes.
Meurtri par un bombardement en 1940, puis cédé à un particulier en 1951, l’édifice est victime d’une violente tempête en 1984 qui emporte la toiture et un pan de mur. C’est à cette époque que la Municipalité rachète la ruine pour le franc symbolique.
Louise MICHEL (1830-1905) sera la détenue la plus célèbre de cette prison entre 1883 et 1884.