Bon estat.
La primera referència d’aquest indret data entre els anys 1115 i 1164, on surt esmentat com “Palaz de Caverdera”, on el concepte de “palau” es pot referir a “vila o casa de camp fortificada”.
Hom pensa que aquest castell es va bastir al segle XIII.
L’any 1411 es va crear un conflicte quan els cavallers de l’Empordà varen acudir uns a defensar a Joan de Vilamarí que havia entrat per la força al Palau-saverdera, i els altres a Ramon de Sagarriga, governador del Rosselló i Cerdanya. Mig segle més tard aquest castell seguia en poder de la família Vilamarí. L’almirall Joan de Vilamarí el confià a la seva mare, que en el temps de torbació amb el rei Joan II, posà al front de la guarnició el seu germà, Juany de So i de Castre.
En temps de guerra, Pere de Portugal encarregà a Jofre de Rocaberti la presa d’aquest castell, el seu intent acabà en fracàs.
L’any 1466, el rei Joan II nomenà a Joan de Vilamarí, baró de Palamós, finà el 1480. El succeí el seu fill Bernat de Vilamarí II.
A mitjan segle XVI n’era senyor Jofre de Vilarig i de Setantí.
L’any 1698 pertanyia al comte d’Empúries.