Ruïnes.
L’any 1030, l’abat Pere de Sant Pere de Rodes comprà per quatre unces d’or a Hug I, comte d’Empúries, un extens alou que comprenia Portaló, Culip, Cap de Creus, Portlligat i “Kadachers”.
L’any 1261, Ponç Hug III, comte d’Empúries, permutà amb Ponç del Vernet, la vila de Cadaqués, pels castells de Millars, Talteüll i Torrelles, en el Rosselló.
La primera menció d’aquest castell data de l’any 1280 en una carta de franquesa atorgada per Ponç Hug IV, comte d’Empúries.
L’any 1316, Malgaulí, comte d’Empúries, com tenia moltes deutes, hagué de vendre a carta de gràcia la lleuda i altres drets del “Castri nostri de Cadacheriis”.
L’any 1402, el rei Martí “l’Humà” concedí un “Privilegi” de tots bons usos i consuetuds” a Cadaqués.
L’any 1409, el mateix rei empenyorà el comtat d’Empúries a la Diputació del General i la ciutat de Barcelona per 55.000 florins d’or.
L’any 1444, arribaren a Cadaqués 22 galeres de moros i cremaren la vila.
L’any 1470, durant la guerra contra Joan II, “Johan Sequeres” obrí el portal i lliurà la vila als enemics dl Principat de Catalunya, tres mesos més tard fou reconquerida.
Durant el segle XVI aquesta vila sofrí els atacs dels pirates en diverses ocasions.