Enderrocat.
Aquest lloc va pertànyer al vescomtat d’Àger i segurament va ésser conquerit per Ermengol IV d’Urgell.
Hom creu que aquest castell el posseïen en feu els senyors d’Àger pels comtes d’Urgell.
La primera referència d’aquest castell data de l’any 1127, on Berenguera de Queralt n’era senyora pel seu esponsalici amb Guerau Ponç III de Cabrera i el llegava al seu fill Ponç Guerau III de Cabrera.
En el segle XIII, Guerau Ponç IV de Cabrera disposava en el seu testament que aquest castell fos empenyorat per satisfer certes deutes.
L’any 1318, el monestir de Santa Maria de Bellpuig de les Avellanes adquirí els drets senyorials de la vila i el castell de les Avellanes.