Si erge tuttora a 115 metri d'altezza riassumendo l'età preistorica e quella storica dell'isola intera poiché alcuni tra i primi abitanti di cui ci narra la storia si insediarono e vissero proprio su questo scoglio tramutato in fortezza da Gerone, tiranno di Siracusa.

E' certamente uno dei più antichi e caratteristici castelli d'Italia. Circondato dai marosi che incessanti continuano ad accarezzarlo nei momenti lieti e a percuoterlo con ritmo assordante in quelli tristi, con i suoi lati dirupati, posto a custode e difesa dall'importante Napoli, fu rifugio sicuro per quanti vollero difendersi nei momenti di necessità e dimora tranquilla dalla quale scattare e depredare.

Nel XV secolo d.C. fu congiunto alla grande Ischia con un ponte di legno che nel corso degli anni venne sostituito con uno di pietra.
Fino alla metà del XV secolo si accedeva al castello da una scala esterna, di cui si può ancora intravedere qualche rudere dal mare, dal lato che dà su Vivara. Oggi  è possibile raggiungere il castello anche con un comodo ascensore.