L’any 1057, aquest castell el posseïa Ermengol III, comte d’Urgell i la seva muller Clemència, que el varen canviar per la meitat del castell de Santa Linya que tenien la canònica i el bisbe Guillem, de la Seu d’Urgell.
El bisbe es trobà amb dos feudataris, un era la família Solsona-Torroja com a feudatària del castell jussà, i l’altra, la família Ponts-Puigverd, com a feudatària del castell sobirà. Aquell mateix any, el bisbe Guillem va fer una convinença amb Pere Miró de Ponts per arranjar les discòrdies que hi havia sobre la castlania. El bisbe donà el castell i la castlania a Pere Miró i la sots-castlania a Ecard Miró.
Abans del 1075, a Pere Miró de Ponts el succeí el seu fill Arnau Pere de Ponts que jurà fidelitat al bisbe Guillem. Quan Arnau morí defensant el castell de la Conca de Barberà d’una incursió sarraïna, el succeí el seu germà Pere, anomenat Vidià, ja que Arnau no deixà descendència, llavors s’inicià una nova dinastia que prengué el cognom de Puigverd.
L’any 1180, el bisbe Arnau d’Urgell presentà un plet amb el feudatari del castell jussà, Ramon de Torroja, que no volia reconèixer el domini del bisbe.
L’any 1201, apareix esmentat un Ponç de Pinell, però sense deixar clar si era castlà del castell jussà o sobirà.
Sembla ser que al segle XIV, es va crear un nou castell al mateix lloc.
