El Palau Episcopal és un edifici de gran superfície i el seu nucli més antic, a la vora del mar, és una obra medieval iniciada al segle XIII i desenvolupada en successives ampliacions. Actual seu del Museu Diocesà, aquest monument té una amalgama singular d'estils per haver viscut diferents reformes, i en destaca la nova façana, d'estil manierista.

També mereixen atenció el magnífic rellotge de sol que presideix el pati i la portalada gòtica de l'antic oratori de Sant Pau.