Ruïnes.
També es anomenat castell de Sòls de Riu.
La primera referència d’aquest castell data de l’any 926, on el prevere Gaudí donava un trull i diverses vinyes que tenia al castell de Rialb a Sant Climent de Codinet.
Al segle XI es comença a distingir entre els termes de Rialb Jussà i de Rialb Sobirà.
El terme de Rialb Jussà comprenia els pobles de la Torre de Rialb, Polig, Sant Girvés, la Serra, l’Oliva, Miralpeix i la Cluella. El terme de Rialb Sobirà, es situa entorn de Sant Andreu del Puig.
Els primers senyors d’aquest castell foren els Caboet, vers el 1075.
L’any 1102, hi hagué una convinença entre Guitart Isarn de Caboet i Arnau Ramon, on aquest darrer havia de tenir el castell de Rialb, el de Castelló i la dominicatura de Polig.
L’any 1115, Miró Guitart de Caboet, fill de Guitart Isarn, establí una convinença amb Miró Isarn, on Miró li encomanava aquest castell i li donava en feu la tercera part de les dominicatures que tenia en aquest castell.
Al segle XII apareixen els Rialb com a castlans d’aquest castell.
A finals del segle XII apareixen els Ribelles com a senyors d’aquest castell.
L’any 1252 n’era senyor Bernat Ramon de Ribelles.
L’any 1376, Ponç de Ribelles era senyor de Rialb Jussà, Rialb Sobirà i Pallerols. Cinc anys més tard ho era Gisbert de Ribelles.
A principis del segle XV, la baronia de Rialb era de domini reial.
L’any 1420, el rei Alfons “el Magnànim” vengué la baronia a Ramon de Casaldàliga, ciutadà de Saragossa. Aquesta família la mantingué fins a principis del segle XVI, després passà als Alentorn i després, passà als Pinós, esdevinguts marquesos de Barberà el 1702.
L’any 1751, Josep Galceran de Pinós i d’Alentorn, vengué aquesta baronia per 45.000 lliures a Josep Sadurní, mercader de Barcelona.
Quan desaparegueren les senyories, aquesta baronia pertanyia a la família Mercader i Sadurní.