Quan al-Mansur va morir l’agost del 1002, llavors Ramon Borrell, comte de Barcelona i Ermengol, comte d’Urgell organitzaren una expedició en terra sarraïna, on va tenir lloc l’anomenada “batalla d’Albesa”, en aquesta va morir Berenguer, bisbe d’Elna i germà de l’abat Oliba.
A l’any 1109, aquest castell encara es trobava en poder dels sarraïns, ja que tenia una importància excepcional per a la defensa de Lleida.
L’any 1120, aquest castell va ser donat com a penyora en un pacte d’ajuda i de fidelitat mútues entre el comte Ramon Berenguer III i Avifelel, alcaid de Lleida.
L’any 1122, Ermengol VI, comte d’Urgell guanyà la vila d’Albesa.
Potser aquesta vila fou perduda l’any 1126 en la batalla de Corbins, però l’any 1149 fou reconquistada una altra vegada pel comte d’Urgell i feia la concessió d’una presa d’aigua prop d’Albesa als Templers, per a regar les terres de Corbins.
L’any 1163, en una carta de població de Menàrguens, surt Albesa com afrontació d’aquella vila.
L’any 1236, el rei Jaume I concedí en feu aquest castell entre d’altres a Ponç de Cabrera.
L’any 1255, n’era senyor Galceran de Pinós.
L’any 1270, el rei Jaume I va incorporar a la Corona els castells de Menàrguens i Albesa, això ho va fer una vegada morta Maria Gonzalvo, mare d’Àlvar, comte d’Urgell.
L’any 1273, Galceran de Pinós “el Jove”, donava per cinc anys els delmes, censos i drets que percebia d’Albesa a la seva dona Berenguera.
L’any 1278, Ermengol X, comte d’Urgell, prestà jurament de fidelitat al rei per diversos castells, entre ells el d’Albesa.
L’any 1326, Ramon Sespunyola, llegà tots els drets que posseïa en aquest castell al seu nebot, Ramon de Josa.
L’any 1331, es va construir el pont que uneix les dues ribes del Noguera Ribagorçana.
L’any 1381, comptava amb 97 focs, pertanyia al comtat d’Urgell i a la vegueria de Lleida.
En temps de Pere d’Aragó, comte d’Urgell (1347-1408), ocorregué en el pont d’Albesa el miracle representat en la pintura al fresc de l’ermita de Santa Maria del Merli.
L’any 1440, n’era senyora d’Albesa la comtessa de Pallars.
L’any 1831, Albesa era del corregiment de Lleida i pertanyia al comte de Fuenclara, comptava amb un fogatjament d’unes 800 persones.
