Ruïnes.
La primera referència d’aquest indret data de l’any 1146, on surt esmentat en l’acta de consagració de l’església de Sant Martí de Cardós o del Pui.
Aquest castell va pertànyer al comte de Pallars fins al segle XV.
Aquest és un dels castells que figura l’any 1281 en el que el comte Arnau Roger I de Pallars Sobirà tingué que lliurar al veguer reial Ramon de Molina al no poder satisfer la quantitat de 100.000 marcs d’argent i 100.000 sous pels danys causats en la revolta contra el rei Pere “el Gran”.
L’any 1491, Lladorre va passar als Cardona i al final de segle XVII als seus successors, els ducs de Medinaceli.