Nel Medioevo era la capitale di Annecy, Ginevra County, e si trova nel centro di Annecy, il castello fu la sede dei Conti di Ginevra. Il castello fu costruito nel XII secolo sul sito della fortezza, costruita quattro secoli prima. Nel XIII secolo divenne la residenza dei membri della famiglia del Conte, poi si trasferì al duca di Savoia.

Nel Medioevo il castello più volte distrutta da incendi, ma ogni volta è stato ridotto, sempre più rafforzando la sua difesa. Tuttavia, nonostante lo spessore delle pareti, minaccioso aspetto e una posizione privilegiata sulla cima di una collina, nella prima metà del XVII secolo, il castello fu preso dall'esercito francese. Nel XVII secolo, il castello ospita le caserme e magazzini, una volta che anche servito come un rifugio per i senza tetto. Solo a metà del XX secolo, l'edificio è stato dichiarato monumento storico, e ora è ospitato un museo dove si possono vedere le opere d'arte e oggetti di epoche diverse.

Uno dei famosi abitanti del castello fu Roberto di Ginevra - generò qui nel 1342, il figlio del conte Amedeo III. Roberto di Ginevra è conosciuta anche con il nome di antipapa Clemente VII - piuttosto militante e crudele, soprannominato il macellaio e boia per i suoi metodi di trattare con i ribelli. Nella seconda metà del XIV secolo nel mondo cattolico aveva due papà - uno ufficialmente eletto Urbano VI e "opposizione", il secondo del cardinale eletto Clemente VII, che aveva sperato di prendere il potere e rovesciare Roma Urbano VI. Avendo fallito, antipapa Clemente si stabilì ad Avignone, che un tempo ospitava la residenza papale.

Dopo la morte di Clemente VII nel 1394 si è fusa con Annecy e la Savoia ha perso il suo status di capitale della contea, e la contea di Ginevra, anche, non c'era più. A causa del duca di Savoia castello ha guadagnato la sua più bella torre perrer.

Oggi il castello è circondato da splendidi giardini pubblici e altri luoghi di interesse storico. Con le sue pareti visto la città e il lago di Annecy.