Restaurat.
La primera referència d’aquest castell del segle XII, en aquesta època ja surt esmentada la família Castelltort.
Fou cedit a la canònica de Sant Jaume de Calaf.
L’any 1389, Berenguer de Castelltort, possiblement relacionat amb aquest castell, fundà l’hospital de Cervera.
Més tard passà a la família Cardona.