Desaparegut.
Des del segle X aquest castell havia estat el centre de la Vall d’Àssua.
Vers l’any 1011, el comte Ramon III de Pallars va prendre al seu germà Guillem II tota la Vall d’Àssua.
L’any 1069, el castlà Pere Roger va prometre ésser fidel al comte Artau, pels castells de Caregue, Escàs, Rodès i Torena.
L’any 1080, el comte Ramon V de Pallars Jussà i Guit Ató d’Àssua establiren una convinença per aquest castell.
L’any 1252 la Vall d’Àssua, amb els castells de Surp i Torena, passaren als Bellera, quan Gueraua, filla del comte de Pallars enllaçà amb Guillem de Bellera.
L’any 1272, el rei Jaume “el Conqueridor” demanà la potestat del castell de Torena i de la Vall d’Àssua en general, a Guillem de Bellera, posteriorment l’hi tornà.
Vers l’any 1279, el rei Pere “el Gran” demanà la potestat del castell de Torena a Guillem de Bellera.
L’any 1303, l’apoderat d’en Guillem de Bellera lliurà aquest castell al veguer reial de Lleida i Pallars. Quatre anys més tard, el rei Jaume II manà restituir les potestats dels castells de Torena i Astell a Guillem de Bellera.
Al segle XIV la Vall d’Àssua es trobava inclosa en la baronia de Bellera.
L’any 1383, el rei Pere “el Cerimoniós” ordenà a Pere de Bellera que li lliurés les potestats dels castells de Torena, i de la Vall d’Àssua, i d’Astell, que els tenia en feu pel rei, dos anys més tard, el mateix monarca ordenà a Ramon d’Agramunt, que tornés a Joan de Bellera aquelles potestats.
L’any 1435, Jaume de Bellera va vendre la Vall d’Àssua i la baronia de Rialp al comte de Foix.
Durant la guerra de la Generalitat contra el rei Joan II, els béns d’en Gastó de Foix foren segrestats per la Diputació i cedits al comte Hug Roger de Pallars.
L’any 1496, Joan Xiberri “Matxicot” vengué a carta de gràcia per 2.500 lliures, les rendes i drets que percebia sobre la vila de Rialp i la Vall d’Àssua.
L’any 1523, Lluís Oliver de Boteller, vescomte de Castellbò, prestà homenatge per la Vall d’Àssua al rei-emperador Carles.
L’any 1548, el vescomtat de Castellbò fou incorporat a la Corona.