La primera referència on surt el nom de “villa Torrocella” data de l’any 879, on Teotari, bisbe de Girona guanyà la disputa d’un terreny a “Adisclus”.
La primera referència del “castro Torredella” data de l’any 1085, en una concòrdia entre els comtes d’Empúries i Rosselló.
L’any 1094 n’era senyor Pere Ponç de Torroella; Ponç Guillem ho era el 1121.
L’any 1128, es signà una concòrdia entre el comte d’Empúries i el comte de Barcelona; Pere de Torroella, com altres nobles empordanesos, pactà amb el comte barceloní.
L’any 1156, apareix com a senyor Bernat de santa Eugènia, casat amb “Adalaidis”.
L’any 1202, s’establí un conveni entre Pere de Torroella, senyor d’aquest castell i el seu fill Ponç Guillem, d’una banda i el rei Pere “el Catòlic”, de l’altra, on esdevenien homes addictes del sobirà, mentre aquest els garantia que si queien presoners, ell els alliberaria.
L’any 1226 finà Ponç Guillem, senyor d’aquest castell, el va succeir el seu germà Bernat de santa Eugènia, sembla ésser que fou el primer governador de l’illa de Mallorca. L’any 1237, Bernat afavorí amb diverses concessions als pobladors de Torroella; finà el 1269, demanà d’esser sebollit al monestir d’Ullà. Aquell mateix any, quan encara estava viu, la seva filla Sança de Santa Eugènia permutà el castell i la seva vila per la baronia de la Vilademuls dels Rocaberti.
L’any 1272, Dalmau de Rocaberti, permutà aquest terme amb el castell d’Albons, per les baronies de Vilademuls i Sant Llorenç de la Muga.
Al segle XIII esdevingué en castell, palau i presó.
L’any 1321, Jaume II sojornà en aquest palau.
L’any 1339, el rei Pere “el Cerimoniós” prometé que no separaria Torroella de la Corona; l’any 1351, quan creà el ducat de Girona en favor de l’infant Joan, aquesta vila fou inclosa en el ducat.
L’any 1397 foren reconstruïdes les muralles de Torroella.
Durant la guerra de la Generalitat contra Joan II, la ciutat de Barcelona confià Torroella al comte de Pallars, aquest encarregà la custòdia al baró de Cruïlles. Un any més tard, el rei Joan II l’adjudicà a Joan Gombau. Posteriorment passà a la família Llevià, més tard, per enllaços matrimonials passà als Biure.
L’any 1642 l’adquirí l’Ajuntament de Torroella. A principis del segle XIX el posseïa la família dels Carles, més tard, per enllaç matrimonial passà als Robert.
