Ruïnes.
La primera referència d’aquest lloc data de l’any 819, on surt esmentat en l’acta de consagració de Santa Maria de la Seu d’Urgell.
No hi ha cap dada històrica d’aquest castell, però hom pensa que devia seguir el mateix camí que el terme de Rialb.
L’any 1376, Ponç de Ribelles era senyor de Rialb Jussà, Rialb Sobirà i Pallerols.
L’any 1420, el rei Alfons “el Magnànim” vengué la baronia a Ramon de Casaldàliga, ciutadà de Saragossa.
Més tard, apareix Pallerols formant part de la baronia de Rialb.