El topònim Àger sembla ésser que deriva de la forma llatina “agger”, que significa monticle emmurallat.
L’any 931 es trobava en aquest castell “d’Ayera” Muhammad Ibn Lubb.
Amrus Ibn Muhammad, d’Osca, amb un exèrcit d’homes habitants de Lleida anà contra Muhammad Ibn Lubb, Amrus caigué derrotat.
L’any 932, Muhammad Ibn Lubb va fer una incursió contra la ciutat de Lleida, en aquesta ciutat es trobava com lloctinent d’Amrus, el seu germà Musa Ibn Muhammad, qui sortí trobar-lo i caigué presoner.
L’any 1034, el cabdill Arnau Mir, fill de Mir de Tost, ocupà aquest lloc en nom del seu senyor, Ermengol II, comte d’Urgell.
Vers l’any 1041, els sarraïns tornaren a ocupar Àger de mans de Sulaiman Banu-Hud. Posteriorment Arnau Mir tornà a conquerir aquest lloc, però el 1046, Jusuf-al-Mudàffar, fill de Sulaiman, tornà a conquerir Àger. Finalment, el 1049, Arnau Mir de Tost realitzà la tercera expugnació d’Àger, convertint-se en el baró més important del comtat d’Urgell.
L’any 1055, aquest castell afrontava amb el de Mur i Llimiana; en el 1063 amb el “castrum de Cannelas”.
Arnau Mir, fundà una abadia dedicada a sant Pere. Aquest castell va ésser atorgat al cenobi el 1068 i tenia el caràcter de suda.
Quan finà Arnau Mir el 1071, l’hereu universal fou el seu nét Guerau Ponç, que amb el beneplàcit del comte d’Urgell, obtingué el títol de vescomte d’Àger.
L’any 1074, el comte Ermengol IV “el de Gerb” efectuà un conveni amb el vescomte Ponç Guerau i el seu fill Guerau Ponç a propòsit del castell i vila d’Àger entre altres.
En l’últim quart del segle XII hi hagué polèmica per la potestat dels castells d’Àger i Os de Balaguer entre Ponç III, vescomte de Cabrera i d’Àger i el seu cunyat, Ermengol VIII, comte d’Urgell. Intervení el rei Alfons “el Cast”, primerament ajudà a Ponç, però finalment es posà de part del comte.
L’any 1268, quan morí el comte Àlvar, el rei cedia en perpetu alou aquest castell i altres possessions a Guerau de Cabrera.
L’any 1298, el germà del comte Ermengol X d’Urgell, Àlvar, s’intitulà vescomte d’Àger, acompanyà al rei Jaume II a la guerra de Sicília on va trobar la mort, com no havia deixat descendència del seu matrimoni amb Sibil•la de Cardona, aquest vescomtat revertí al comtat d’Urgell.
L’any 1314, finà Ermengol X sense descendència, llavors l’infant Alfons es casà amb Teresa d’Entença, reneboda d’Ermengol, d’aquesta manera l’infant s’anomenava comte d’Urgell i vescomte d’Àger.
L’any 1315, el rei Jaume II escrivia a la vídua d’Ermengol X que defensés els castells, especialment el d’Àger, ja que tenia les pretensions del comte de Foix i del vescomte de Cardona.
L’any 1328, l’infant Jaume heretà per renúncia del seu pare, el comtat d’Urgell i el vescomtat d’Àger. Aquest infant morí el 1348, víctima de la pesta negra.
A començaments del segle XV, Àger comptava amb 88 focs.
L’any 1412, el rei Ferran “el d’Antequera”, atorgà aquesta vila i el seu castell a Pere de Sagarriga, arquebisbe de Tarragona.
L’any 1592, la canònica d’Àger fou secularitzada pel papa Climent VIII.
L’any 1644, Enric de Lorena, virrei de Catalunya, s’apoderà d’Àger, però fou reconquerida pels soldats de Condé el 1647.
L’any 1822, Àger era quarter general del baró d’Eroles.
