Erigée sous le règne d’Henri II, la citadelle fut agrandie par Nicolas Fouquet, alors propriétaire de Belle-Ile, sans que le surintendant de Louis XIV ne visite Le Palais avant sa disgrâce.
Cédée à la couronne et fortifiée à nouveau sur ordre de Vauban, la forteresse subit les assauts répétés des flottes ennemies alors que l’île, véritable entrepôt, stockait les marchandises de la Compagnie des Indes.
Entourée d’une double enceinte aux murailles épaisses, elle fut transformée en caserne et en prison jusqu’en 1961.