Enderrocat.
El poble es va formar al voltant d’una fortalesa bastida el segle XII, dita antigament “la torre dels Canonges”.
Martí de Vall-llebrera fou senyor d’aquest castell que fou enterrat al monestir de Poblet el 1208.
L’any 1263, el rei Jaume I confirmà la compra de Castellserà a Jaume de Cervera.
L’any 1307, el rei Jaume II concedí en feu el poble de Castellserà junt amb altres llocs al comte Ermengol de Cabrera.
L’any 1318, Jaume Desbrau vengué el castell i el seu terme junt amb altres possessions a l’abat de santa Maria de Poblet.
L’any 1414, el rei Ferran “el d’Antequera” vengué l’abat Juan Martínez de Mengucho el mer i mixt imperis de Castellserà, es va concretar definitivament el 1416.
Poblet tingué el domini d’aquest castell fins l’abolició dels senyorius al segle XIX.