Sorto da un'aggregazione di case medievali, divenne, attraverso successive trasformazioni nei secoli, uno dei palazzi più importanti della città. Il corpo imponente mostra ancora le tracce delle fabbriche che si sono susseguite nel tempo. Della costruzione originaria rimane il portico con la loggia e la sala con i peducci, assegnabili al tardo Cinquecento.
Nel '700 i Gaddi intervennero in modo notevole sul Palazzo, trasformandolo in una sontuosa dimora barocca, con la costruzione dello scalone di accesso al piano nobile e l'elevazione del corpo edilizio del salone, ben visibile anche da Corso Garibaldi. All'aspetto imponente, ma spoglio della facciata in mattoni a vista, si contrappone la ricchezza di stucchi, affreschi e decorazioni degli ambienti interni. Dall'androne di ingresso si accede al maestoso scalone settecentesco, in cui campeggia, nel primo pianerottolo, una grande statua barocca dell'Abbondanza. La cupola, impostata su una volta a vela con pregevoli stucchi nei quattro pennacchi, è affrescata con scene del "Trionfo di Zefiro e Flora". Dal pianerottolo superiore si accede al salone, ora Sala Gaddi, decorato al soffitto da una grandissima tela con lo stemma della famiglia ed alle sale ("Sala di Augusto", "Sala di Teseo", "Sala di Ercole") decorate nel 1818 da Felice Giani.
Si tratta della seconda sede museale della città, per volume e superficie, notevole per ricchezza di contenuti architettonici e decorativi, che risultano straordinari. Il Palazzo ospita attualmente il Museo del Risorgimento "A. Saffi" e il Museo Romagnolo del Teatro.