Ruïnes.
Les primeres referències d’aquest indret daten del segle X, on apareix amb els topònims “Saorte” i “Suort”.
Hom pensa que l’any 1064, el comte Ramon IV de Pallars Jussà amb l’ajuda de tropes sarraïnes saquejà la vila i el terme de Sort que pertanyia al seu cosí Artau I de Pallars Sobirà. Posteriorment Ramon IV, juntament amb la seva muller Valença, filla d’Arnau Mir de Tost, confirmaren la donació de “villa Sabort” a Santa Maria de la Seu d’Urgell.
L’any 1281, el comte Arnau Roger de Pallars reconegué diversos castells al rei Pere “el Gran”, entre ells el de “Soort”.
L’any 1293, el rei Jaume II assetjà aquest castell.
L’any 1297, la comtessa Sibil•la de Pallars cedí al rei Jaume II el domini directe de tot el comtat de Pallars i del seus castells i llocs, llevat del castell de Salàs, per 400.000 sous de moneda barcelonesa de tern.
L’any 1467, quan el rei Joan II s’havia apoderat d’una part del Pallars, ordenà al veguer de Lleida i al sotsveguer del Pallars, que li lliuressin les viles de Salàs, Peramea, Sort, etc., que pertanyien al comte Hug de Pallars.
L’any 1478 en aquest castell es varen signar treves entre Joan Ramon Folc de Cardona, Requesens de Soler, governador de Catalunya, i el vescomte d’Illa, amb el comte de Pallars.
L’any 1491 l’estat de Pallars recaigué en Joan Ramon Folc IV amb el títol de Marqués, aquest lloc esdevenia capital del nou marquesat de Pallars.
L’any 1497, aquesta vila comptava amb 59 focs.
Per enllaç matrimonial passà als ducs de Medinaceli a finals del segle XVII, l’any 1842 el duc el cedí per a poder-s’hi establir, en el seu clos, el fossar de la vila, aquell mateix any va ésser beneït el cementiri instal•lat en el clos del castell.