L’any 889, en un precepte carolingi ja surt esmentat el “castellarum montis Aspero” i la “villa Palus”.
L’any 994, Ramon Borrell i la seva muller Ermessendis, comtes de Barcelona-Girona-Osona, donaren la torre de pals i la seva església al bisbe de Girona.
A començaments del segle XI, Quixol, casada amb Gausfred Vidal n’eren senyors d’aquest lloc. Els succeí llur fill Bernat Gausfred que el 1065 vengué a Ramon Berenguer I i Almodis, comtes de Barcelona, el castell de Mont-aspre, també dit de Pals.
En aquesta època els seus límits eren:
- A llevant, el mar.
- A migjorn, Palafrugell i la Torrella de Mont-ras.
- A occident, el castell de Peratallada.
- A cerç, Torroella de Montgrí.
L’any 1072, el comte vengué aquest castell entre altres a Oliver Bernat, nét de Quixol; aquest causà grans danys en el monestir de Sant Feliu de Guíxols, això provocà que el bisbe de Girona l’excomuniqués. Posteriorment, Oliver se’n va penedir i restituí als monjos tot el que havia pres i se n’anà a Palestina el 1105 on morí com a croat. En el seu testament deixà moltes possessions al cenobi guixolenc, encara que el castell i la vila de Pals els llegava a la seva filla Ermessendis, però si aquesta moria sense descendència, llavors també aniria al cenobi.
L’any 1190, el rei Alfons “el Cast” infeudà aquest castell al seu familiar Ramon de Vilademuls. Més tard, el rei Pere “el Catòlic” atorgà el castell i la vila al vescomte Ramon de Turena.
L’any 1230 n’era senyor Bernat de Santa Eugènia. El succeí la seva filla Sança que es casà amb el vescomte Guerau VI de Cabrera.
L’any 1311, Jaume II incorporà aquest lloc a la Corona.
L’any 1339, el rei Pere “el Cerimoniós” prometé que no vendria ni permutaria aquest castell i altres llocs.
L’any 1351, aquest indret formà part del ducat de Girona.
En el fogatjament dimanat de 1359 comptava amb 43 focs.
L’any 1471, durant la guerra civil, Pals es rendí a les forces de Joan II.
