Nel XIII secolo Sirmione diviene uno dei punti del sistema di fortificazione scaligero con la costruzione del Castello ad opera probabilmente di Mastino I della Scala. Nello stesso periodo è rifugio degli eretici Patarini, condannati poi al rogo a Verona (1278). La funzione di controllo e di difesa, assunta in età tardoromana, continuerà sino al XVI secolo, quando nel ruolo di centro fortificato del basso lago viene sostituita da Peschiera. Il Castello comunque rimarrà sino alla metà dell'Ottocento sede di guarnigione militare.