Il Castello dell'Imperatore, conosciuto anche come  Fortezza di S.Barbara o Castello Svevo, può essere considerato la più importante testimonianza architettonica dei secoli XI°-XIII° presente nella città di Prato. La sua particolarità, e anomalità principale, è che in pratica stiamo parlando di uno stupendo esempio di maniero Svevo, l'unico nel centro-nord d'Italia! La sua collocazione geografica perfetta sarebbe stata nell'Italia del Sud accanto a capolavori di architettura fortificata come Castel Del Monte o Lagopesole. La costruzione fu iniziata nel 1248 per volere dell'Imperatore Federico II di Svevia, nell'ambito di un progetto finalizzato a porre sotto controllo militare le principali vie di comunicazioni che dal sud del paese portavano in Germania, in particolare la strada che dal passo di Montepiano portava attraverso la valle de Bisenzio al cuore della Toscana.

Il castello è opera dell'architetto Riccardo da Lentini, 'magister' a capo di maestranze fatte giungere appositamente dalla Puglia, e fu eretto sul terreno che già ospitava una fortificazione minore, donato all'imperatore da una famiglia Ghibellina pratese.

L'edificio ha pianta quadrata, con quattro torri agli angoli e altre quattro, di cui due disposte a sperone e due ereditate dal precedente fortilizio [ed in origine molto più elevate di adesso], al centro di ogni lato della cortina muraria. Il coronamento delle mura e delle torri è realizzato con i caratteristici merli Ghibellini a coda di rondine. Le torri della preesistente fortificazione  inglobate nella fortezza hanno pregiudicato il risultato geometrico della pianta, non perfetto come negli altri castelli Svevi dell' Italia meridionale, ma non il simbolismo dell'ottagono [sono comunque otto le torri presenti].