Fu sede per quasi quattrocento anni dei rettori veneti che governavano Belluno e il suo territorio. Su un preesistente e più arretrato edificio fortificato realizzato a partire dal 1409 (e completamente bruciato nel 1802) venne aggiunta nel 1491 dal rettore veneto Maffeo Tiepolo sul lato ovest una prima loggia lombardesca a due piani, poggiante su tre archi.
Nel 1496 fu adottato un progetto di ampliamento disegnato dal veneziano Giovanni Candi (l’autore del “bovolo” di palazzo Contarini a Venezia), più volte interrotto fino alla crisi seguita alla guerra di Cambray. Venne infine completato nel 1536 durante il rettorato di Girolamo Rimondi. Tra il 1536 e il 1547 venne innalzata la torretta dell’orologio, progettato dal fiesolano Valerio da San Vittore. Sulla facciata, stemmi e busti di rettori veneti dei secoli XV-XVII. All’interno numerosi locali, nonostante i radicali restauri resisi più volte necessari in seguito ai terremoti degli ultimi due secoli, hanno mantenuto la fisionomia originaria, in particolare il salone centrale del secondo piano e la vicina saletta, con il soffitto alla sansovina. E’ sede della Prefettura.

For almost four hundred years it was the seat of the venetian rectors sent by Venice to rule over Belluno and its territory. In front of an older fortified building erected in 1409 (and completely burned in 1802) was added in 1491 by the venetian rector Maffeo Tiepolo a first lodge with a three arch arcade on the west side. In 1496 was adopted a new enlargement project designed by the venetian architect Giovanni Candi (the author of the “bovolo”, the winding staircase of the Contarini palace in Venice) and despite the many stops imposed by the Cambrai league war, the building was finally completed in 1536, at the time of the rector Girolamo Rimondi. Between 1536 and 1547 was built the squared bell tower, designed by the fiesolane friar Valerio da San Vittore. On the façade coats of arms and busts of venetian governors from the XVI and XVII century. Inside, many rooms and halls, despite the heavy reconstructions that were necessary after the earthquakes of the last centuries, still maintained their original structure, especially the upper central hall on the second floor and the nearby room with decorated wooden beams. Since Napoleon’s time the building is the seat of the Prefect appointed by the central government.