Sul lato opposto del Palazzo Comunale sorge la Castellina.

E'una salda rocca quadrilatera, con torrioni angolari,costruita per volere di Papa Giulio III, a causa dei continui disordini che si succedettero nella prima metà del XVI secolo.

I lavori iniziarono il 28 Agosto 1554,su progetto di Jacopo Barozzi da Vignola, che concepi'la costruzione a metà tra rocca fortificata e palazzo del Governo: doveva essere infatti sede del governatore pontificio,dopo l'istituzione della Prefettura della Montagna da parte di Pio V nel 1569.

La porta principale ci conduce nei locali della vecchia Cancelleria Civile e Criminale.

Il cortile al centro del palazzo immette in una serie di ambienti: la sala di udienza,della cancelleria;le carceri;le scuderie e la sala di tortura,da cui attraverso un passaggio sotterraneo si può arrivare fuori le mura cittadine. Sulla fonte del cortile vi è una figura togata ricomposta,che i nursini identificano come la statua di Vespasia Polla,madre dell'imperatore Vespasiano.

Al primo piano vi erano le sale di rappresentanza, la cappella, l'abitazione del Prefetto e della sua famiglia.Oggi, all'interno è ospite il Museo Civico Diocesano.