Desaparegut.
L’any 1088, el comte Ramon V de Pallars Jussà i Guit Ató d’Àssua establiren una convinença per aquest castell.
L’any 1091, el comte Ramon V de Pallars Jussà i Guiu Ató d’Àssua establiren una altra convinença per aquest castell, on Guiu s’acreditava com a castlà.
L’any 1181, Artau IV i Guillema, comtes del Pallars Sobirà, reconegueren documentalment les potestats dels castells de Surp, la Torre i altres.
Al segle XIV la Vall d’Àssua es trobava inclosa en la baronia de Bellera.
L’any 1383, el rei Pere “el Cerimoniós” ordenà a Pere de Bellera que li lliurés les potestats dels castells de Torena, i de la Vall d’Àssua, i d’Astell, que els tenia en feu pel rei, dos anys més tard, el mateix monarca ordenà a Ramon d’Agramunt, que tornés a Joan de Bellera aquelles potestats.
L’any 1435, Jaume de Bellera va vendre la Vall d’Àssua i la baronia de Rialp al comte de Foix.
Durant la guerra de la Generalitat contra el rei Joan II, els béns d’en Gastó de Foix foren segrestats per la Diputació i cedits al comte Hug Roger de Pallars.
L’any 1496, Joan Xiberri “Matxicot” vengué a carta de gràcia per 2.500 lliures, les rendes i drets que percebia sobre la vila de Rialp i la Vall d’Àssua.
L’any 1523, Lluís Oliver de Boteller, vescomte de Castellbò, prestà homenatge per la Vall d’Àssua al rei-emperador Carles.
L’any 1548, el vescomtat de Castellbò fou incorporat a la Corona.