Aquest castell va ésser construït a finals del segle VIII.
En el segle X, la comunitat de Sant Feliu de Guíxols tingué drets en aquest lloc.
L’any 968, el rei Lotari confirmava que “Colonico” era una pertinença de l’abat Sunyer. El monestir cedí aquest castell a Jofre, o Gaufred, de Fanals, degut a que Oliver Bernat, senyor de Panals havia pres diverses possessions al monestir.
L’any 1105, havent restituït els béns, Oliver partia penedit cap a Terra Santa. Posteriorment apareix com a possessió reial; l’any 1194, Ramon de Solius prestà homenatge al rei Alfons “el Cast” pel castell de Calonge “de Marítima”.
L’any 1269, Jofre Cruïlles tenia en feu aquest castell pel rei.
L’any 1279, el rei Pere “el Gran” donava permís a Gilabert de Cruïlles a celebrar mercat els dijous.
L’any 1284, Gilabert de Cruïlles cedia el senyoriu i els seus delmes a Berenguer de Cruïlles.
En el fogatjament de 1365-1370 comptava amb 153 focs i pertanyia a Berenguer de Cruylles; en el de 1381, 163 focs.
L’any 1371, el rei Pere “el Cerimoniós” incorporà a la Corona les jurisdiccions civil i criminal d’aquest lloc.
Durant la guerra de la Generalitat contra Joan II, Martí Guerau de Cruïlles era baró de Llagostera i de Calonge; mentre ell lluitava en el bàndol joanista, el seu fill i altres familiars, com Bernat Gilabert de Cruïlles, baró de Peratallada, eren antijoanistes.
L’any 1471, el rei Joan II es dirigí a Calonge per assetjar Palamós.
L’any 1477, els remences assaltaren el castell i assetjaren la vila de Calonge.
L’any 1485, un incendi destruí el castell i la vila.
L’any 1488, el rei Ferran “el Catòlic” donà la jurisdicció de Calonge a Galceran de Requesens, comte de Palamós.
L’any 1493, Galceran tenia tots els drets d’aquesta vila menys el de la justícia per “lesa magestatis”. El succeí Lluís de Requesens de Soler, germà de Galceran, finà el 1509, quan encara era governador de Catalunya.
Per enllaç matrimonial passà als Cardona, posteriorment a la casa ducal de Sessa que encara el posseïa el 1640. Més tard passà a la duquessa de Medina de las Torres.
L’any 1899, l’adquirí Manuel Caselles, posteriorment passà al Ministeri d’Educació i Ciència.
