L' aspetto, quasi esclusivamente militare, simile a una rocca, trova origine ancora nel Trecento, allorché i nobili Castelbarco lo organizzarono quale piazzaforte del proprio potere feudale in Val Lagarina.
La fortezza, che non raggiunse quindi mai la qualifica di residenza, venne occupata dalla Serenissima (1416) che ne modificò 
I'assetto medioevale. 

Ai Veneziani si deve la caratteristica forma poligonale, i camminamenti per il servizio dei cannoni, il fossato (oggi parco delle artiglierie), i torrioni Marino, Malipiero, Coltrino, lo sperone e il bastione, dai cui spalti si gode un ampio panorama sulla valle e sulla città. 
Controverse le sue vicende: espugnato dalle truppe arciducali d'Austria (nel 1487, nelle fasi preparatori alla Guerra di Calliano, quaranta giorni d'assedio), divenne sede dei Capitani imperiali e della guarnigione; subì incendi e devastazioni, fu ridotto a caserma, a prigione, e danneggiato dall'artiglieria italiana nella Prima Guerra Mondiale. Successivamente il castello fu oggetto di numerosi restauri.