Quan es va fer el repartiment de la ciutat de Lleida i els seus termes, un d’ells era Torres de Segre, fou donat al noble Guillem de Cervera, castellà del comte d’Urgell.
L’any 1194, el rei Alfons “el Cast” autoritzà Ramon de Cervera a construir una sèquia que fes arribar l’aigua fins a Torres, amb la condició de no canviar el curs sense el consentiment de l’orde templer.
L’any 1227, Ramon de Cervera vengué aquest castell als mercaders de Lleida a Hug de Blumat, Pere Clavet i Guillem Hug de Tolosa per 9.000 morabatins.
L’any 1250, Guillema, filla de Guillem Hug de Tolosa, era muller d’Arnau d’Artesa, llegava els drets al castell i lloc de Torres al seu fill Arnau, si aquest moria sense descendència, passarien a les filles Provença i Ramona. La part d’Hug de Blumat fou venuda pel seu successor, Ferrer de Blumat, a Constança de Montcada, casada amb Àlvar, comte d’Urgell; l’any 1272, Constança la vengué a Martí de Vall-llebrera, representant de Jaume Sarroca, bisbe d’Osca i fill del rei Jaume. En aquesta època aquest castell afrontava amb els de Sudanell, Sunyer, Alcanó, Gebut, Alcarràs, Remolins, Vilanova de Remolins, Soses i Torre d’Avinyana.
L’any 1289, el bisbe d’Osca llegà els drets d’aquest castell als templers, amb l’obligació de pagar 3.000 sous jaquesos al Monestir de Poblet.
Quan s’extingí l’orde del Temple, passà a poder dels Hospitalers.
L’any 1357, el rei Pere “el Cerimoniós” amb motiu de les guerres amb Castells, vengué imperis i jurisdiccions de diversos llocs, Torres era un d’ells.
El 1358 comptava amb 116 focs.
L’any 1377, frare Guillem de Guimerà, lloctinent del gran prior de Catalunya, encarregà la fortificació d’aquest lloc.
En la guerra contra Joan II, el mestre de Calatrava s’apoderà d’aquest lloc.
En la guerra dels Segadors, en el 1642 hi hagué algun fet victoriós per part del mariscal de La Motte.
