Enderrocat.
La primera referència d’aquest castell data de l’any 965, en una donació que va fer Fruila a la casa de Santa Maria i a la de Sant Pere.
Hom pensa que el domini del castell jussà i el del sobirà devia ésser de la mateixa família.
El castell jussà pertanyé sempre a la família Solsona Torroja, posteriorment als Cardona.
El domini eminent era dels comtes d’Urgell; l’any 1057, Ermengol III, comte d’Urgell, i la seva muller Clemència el permutaren al bisbe Guillem d’Urgell. En aquest moment, els dos castells tenien famílies separades.
L’any 1180, hi hagué un judici, perquè Ramon de Torroja es negava a reconèixer els drets eminents del bisbe d’Urgell, el veredicte fallà a favor del bisbe.
L’any 1217, els drets passaren als Cardona, pel casament entre Agnès de Torroja i Ramon Folc. A partir d’aquest moment, tots dos castells pertanyien a la família Cardona, que els mantingueren fins a l’abolició dels senyorius.