Hom pensa que aquesta zona ja fou ocupada pel comte Guifré el Pelós al final del segle IX.
Els primers senyors d’aquest lloc foren la família Gurb-Cervelló.
L’any 1018, Hug de Cervelló cedí la meitat d’aquest castell al seu fill Alemany. Posteriorment, surt vinculat a la família Gurb, senyors del castell de Queralt.
L’any 1033 n’era senyor Bernat Sendred de Gurb, posteriorment passà al seu fill Guillem Bernat de Queralt; quan finà el 1083, el succeí el seu fill primogènit, Bernat de Queralt.
L’any 1167, Pere de Queralt quan es féu monjo de Poblet, donà aquest castell i el de Queralt al seu nebot Gombau d’Oluja, si aquest moria sense fills, passaria a un altre nebot, Guillem de Timor. En aquesta època era castlà Pere de Banyeres.
L’any 1213 n’era senyor Arnau de Timor, fill de Guillem, comprà el domini superior del castell de Queralt a Berenguer III de Gurb-Queralt, a partir d’aquest moment els seus descendents es cognomenaren Queralt. El succeí el seu fill Pere de Queralt.
En aquesta època es creà la baronia de Queralt, estava compresa per la vila de Santa Coloma, els termes de Bellprat, Aguiló, Montargull, Bordell, Rocafort i Rauric.
En el fogatjament de 1365-1370 pertanyia al noble Dalmau de Queralt.
L’any 1599, Felip II atorgà el títol de comte de Santa Coloma a Pere de Queralt i d’Acard.
Posteriorment passà dels Queralt als Recard, que el tingueren fins a l’abolició dels senyorius al segle XIX.