Enderrocat.
També era conegut pel nom de “castell del Pedró”.
L’any 1290, quan feia poc que el rei havia comprat el castell de Sant Esteve amb el seu terme, concedí el palau de Palamós a Guillem Baster, per obrar, millorar i conservar-lo, per quan ell hi fes estatge a Palamós.
L’any 1327 posseïa aquest castell Guillem Bru de Girona que el tenia pel rei.
L’any 1329, el rei Alfons “el Benigne” confià el palau a Bernat Pallarès.
L’any 1331, el rei autoritzà a Bernat Pallarès per a fortificar aquest palau amb muralles i valls.
Aquest palau servia de refugi als habitants de Palamós quan els atacs procedien del mar.
L’any 1394, Pere Pallarès alienà el palau, venent-lo per 3.000 sous a Berenguer de Cruïlles.
Durant la guerra contra Joan II, aquesta vila capitulà a les forces castellanes el 1471.
L’any 1488, el rei Ferran “el Catòlic” vengué la jurisdicció de Palamós a Galceran de Requesens.
L’any 1543, vint galeres turques es presentaren a Palamós i saquejaren i calaren foc a la vila.
L’any 1694, Palamós fou devastat i el seu palau arruïnat.