L’any 966, quan finà el comte Miró de Barcelona, els seus marmessors varen donar la “vallam quae nominatur Torsa” al cenobi de Santa Maria de Ripoll. L’any 992, el comte Borrell en el seu testament ratificà la donació.
L’any 1096, el papa Urbà II confirmà en una butlla que “Torsa” pertanyia al monestir de Ripoll.
La primera referència d’aquest castell data de l’any 1187, on surt esmentat en una escriptura.
L’any 1189, el rei Alfons “el Cast” ordenà que tothom que pesqués en el terme d’aquest castell devia pagar tribut al monestir.
L’emmurallat de la Vila Vella es va fer entre els segles XII-XIV.
L’any 1313, Huguet de Santa Pau tenia aquest castell pel monestir de Ripoll.
L’any 1325, el rei Jaume II donà diversos castells en franc alou al seu cunyat Ot de Montcada, entre ells el de Tossa.
En el fogatjament de 1365-1370 comptava amb 18 focs; en el de 1381, 66 focs.
L’any 1362 n’era castlà Guillem de Riera.
En el segle XIV la batllia era de Bernat Soler i del seu fill Arnau; aquest darrer la va vendre a Pere de Riera el 1371. Va pertànyer a aquesta família fins al segle XVII, llavors per enllaç matrimonial passà als Vern i després als Falguera.
Segons Botet en el segle XVIII i principis del XIX en aquest castell hi havia dues bateries, amb quatre canons, per defensar la costa.
