Inscritto nel patrimonio mondiale dell'umanità dell'UNESCO a patire dal 2000, oggi noto con la denominazione di «Castello di Montebello», nel corso della storia la fortezza ebbe altri nomi: «Castello piccolo», «Castello nuovo» e «Castello di mezzo» dal XIV al 1506; in seguito Castello di Svitto fino al 1818 e poi Castello di San Martino. La costruzione del castello risale probabilmente al XIII secolo, quando fu realizzato dal casato Rusca, che vi si rifugiò durante l'occupazione milanese. Nel corso dei secoli, conobbe varie ristrutturazioni, e l'ultimo intervento architettonico risale infine al 1974, quando fu realizzata una struttura sospesa in acciaio per ospitare il Museo civico.

In questo servizio della trasmissione televisiva «Eclettica», andato in onda l'13 aprile 2002, l'architetto Paolo Fumagalli illustra le caratteristiche dell'ultima ristrutturazione.