Enderrocat.
Des de començaments del segle XII el domini eminent d’aquest castell pertanyia als comtes de Pallars Sobirà que el tenien encomanat als Caregue i a finals de segle als Torena.
L’any 1252 la Vall d’Àssua passà als Bellera, quan Gueraua, filla del comte de Pallars enllaçà amb Guillem de Bellera.
L’any 1272, Guillem de Surp donà la vila i el castell al seu nebot Berenguer, fill de Beatriu de Surp.
L’any 1378, el comte Hug Roger II infeudà aquest castell a Joan de Bellera.
L’any 1418, Roger Bernat establí una concòrdia amb Bernat Roger d’Eroles per aquest castell.
L’any 1435, Jaume de Bellera va vendre la Vall d’Àssua i baronia de Rialp per 10.000 florins. Aquell mateix any, el comte de Foix nomenà Joan de Santa Coloma procurador seu per a prendre possessió de Rialp i altres llocs.
L’any 1496, els comtes de Pallars lliuraren la potestat del castell a Bàrbara d’Eroles.
L’any 1519 Surp tenia quinze caps de casa, aquests estaven obligats a prestar host, cavalcada i guaita a la Vall d’Àssua.