Enderrocat.
La primera data d’aquest castell data de l’any 1040 en la consagració de Santa Maria de la Seu d’Urgell i es trobava dins l’antic terme de Guissona.
L’any 1044, Adelaida, muller de Sunifred, vescomte de Girona, donà aquest castell a la catedral d’Urgell; posteriorment apareix en mans de la família Torroja, dita també Solsona.
L’any 1085, en un testament d’Ecard Miró i la seva muller Magència, llegava aquest castell al seu fill Bernat Ecard de Torroja; l’any 1142, en el testament d’aquest darrer, llegava part de la vila de Tarroja a Santa Maria de Solsona i la resta i el castell al seu fill Ramon.
L’any 1167 n’era senyor Ramon II de Torroja, casat amb Gaia de Cervera, néta del comte Ramon Berenguer III, residien a Solsona.
L’any 1195 n’era senyora Agnès de Torroja, filla de Ramon III de Torroja, i es casà l’any 1217 amb Ramon Folc, vescomte de Cardona, a partir d’aquest moment, aquest lloc pertany al domini dels Cardona, que el mantingueren fins a la desamortització del segle XIX.
L’any 1269, hi hagué una disputa entre el rei Jaume I i el vescomte de Cardona i altres nobles, la vila de Tarroja va ser compromesa com a garantia.