El Palacio Episcopal es un edificio de gran superficie y su núcleo más antiguo, a orillas del mar, es una obra medieval iniciada en el siglo XIII y desarrollada en sucesivas ampliaciones. Actual sede del Museo Diocesano, este monumento posee una singular amalgama de estilos al haber vivido diferentes reformas, destacando la nueva fachada, de estilo manierista.

También merecen atención el magnífico reloj de sol que preside el patio, así como la portalada gótica del antiguo oratorio de San Pablo.