També es anomenat de Verdera.
La primera referència que fa esment a aquest castell data de l’any 904, enregistrat com “Verdaria”.
L’any 974, el comte Gausfred de Rosselló donà aquest castell al monestir de Sant Pere de Rodes.
En el període comprés entre el 1012 i el 1024, el papa Benet VIII s’adreçà al comte Hug I d’Empúries per què tornés aquest castell al monestir, ja que l’havia usurpat.
Al segle XI els límits del cenobi comprenien els actuals termes de Llançà, la Selva de Mar, el Port de la Selva, Vilajuïga, Pau, Palau-saverdera i Cadaqués.
L’any 1283, el comte Ponç Hug IV d’Empúries ordenà que es bastís una fortalesa al lloc de l’antic castell de Verdera. Dos anys més tard se’l varen prendre les tropes franceses, però mig any després el rei Pere expulsà els francesos i a llur rei Felip, derrotant-los al coll de Panissars.
L’any 1381, pertanyia a Joan I, comte d’Empúries, el capità del castell n’era Bernat Costa.
L’any 1509, l’abat de Sant Pere de Rodes prestà homenatge de fidelitat al comte d’Empúries. Posteriorment passà a la família Sagarriga i, més tard, el 1698, tornà als comtes d’Empúries.
L’any 1708, l’exèrcit francès envaí aquestes terres.
