Ruïnes.
La primera referència d’aquest castell es troba en un document del que no se sap la data exacta, aproximadament vers el 1082, en una querimònia entre el comte Ramon V de Pallars Jussà i el seu cosí Artau I de Pallars Sobirà.
L’any 1309, Ramon de Montferrer donà el feu de la Pobla i els castells de Pessonada, Vilanova, Montsor i Panafreita al seu germà Guillem, a canvi dels llocs de Lluçà, Miranda i del feu de Conques.
L’any 1336, el vescomte Pere de Vilamur atorgà carta de població en aquest lloc.
L’any 1338, el rei Pere III “el Cerimoniós” ordenà al comte de Pallars que donés la potestat d’aquest castell i altres, al vescomte Pere de Vilamur.
En el fogatjament de 1381 comptava amb sis focs per al Puig de Segur i dotze per a la Pobla.
A la segona meitat del segle XIV, la Pobla de Segur passà mans del Cardona; en el segle XVII pertanyia als ducs de Cardona.