Fondato dai Visconti nel 1300 si chiamava Castello di Porta Giovia, situato immediatamente al di fuori delle mura medievali. Dopo la sua parziale distruzione durante la "Repubblica Aurea" (1447 - 50), fu Francesco Sforza a ricostruirlo per farne la sua dimora. Il castello continuò a subire lavori di ritocco ed ampliamento ad ogni cambio di regime: prima il Moro fino al 1499, poi più tardi sotto il dominio spagnolo a metà del 1500, fino ai francesi nel 1800.
Ma la veste odierna del castello si deve al più importante dei lavori di riassetto: quello di Luca Beltrami, a cavallo fra '800 e '900, che reinventò la fortezza con importanti aggiunte e cambiamenti.

Per quanto spesso si presenti la fortezza come edificio rinascimentale, i lavori del Beltrami hanno avuto un rilievo tale che sembra più corretto parlare di un complesso di gusto eclettico. Il suo interesse sta proprio nella compresenza delle tracce che ciascuna epoca ha lasciato sul castello. Novecentesco è il profilo che si apre maestoso su via Dante, con al centro la Torre del Filarete (la torre storica fu distrutta da uno scoppio nel 1521). Fanno invece parte del gruppo originario i tre corpi di fabbrica della Rocchetta. La corte Ducale ha di sfondo invece il portico dell'Elefante, che risale al 1473. Al suo interno i Musei del Castello custodiscono tesori di grande rilevanza, sia storica che artistica tra cui antichi manoscritti come il Codice Trivulziano di Leonardo o la Pietà Rondanini di Michelangelo