Intorno alla torre cilindrica, detta "Torre Saracena", posta a controllo del porto e del litorale eretta nel XII secolo, si sviluppa il Castello e il relativo borgo; provvisto di due chiese, una dedicata a S. Severa, con affreschi della seconda metà del XV secolo attribuiti alla scuola di Antoniazzo Romano, e l'altra a S. Lucia eretta nel 1594 e ripristinata nel 1700, dove troviamo elementi architettonici e scultorei romani reimpiegati.

Per tutto il Medioevo sopravvive l'approdo di Santa Severa, ridotto al porto-canale antistante il Castello, con funzioni solamente doganali.

Nel XIII secolo ai Farfensi succedono i monaci cassinesi di San Paolo (1203), la famiglia dei Tiniosi, quindi i monaci Eremiti Agostiniani (1290).

Nel XIV secolo il Castello risulta feudo della potente famiglia romana dei Venturini.

In epoca Rinascimentale il borgo di Santa Severa costituisce di fatto un'unità economica-produttiva autosufficiente con attività marittime, agricole e zootecniche molto sviluppate: una grande azienda direttamente controllata dalla Chiesa di Roma.

Tre successivi ampliamenti della cerchia muraria, nel XIV, XVI e XVIII secolo, testimoniano le varie fasi di crescita dell'insediamento che comunque arrivò ad occupare soltanto un quarto dell'area urbana dell'antica città romana di Pyrgi.

Attraverso complesse vicende e passaggi di proprietà il Castello, a partire almeno dal 1482, ha fatto parte dei possedimenti dell'Ospedale del Santo Spirito fino al 1980;

oggi il complesso è di proprietà del Comune di Santa Marinella.