Il castello è situato sul colle di Serravalle, e dalla sua posizione panoramica difendeva le coste dalle incursioni arabe. Negli anni ha subito numerose modifiche e ampliamenti fino ad arrivare alla costruzione odierna. Già ai primi del XIII secolo furono realizzate le torri di forma quadrangolare in trachite nel quale furono apposti, sulla parete rivolta a nord, gli stemmi araldici.