Les primeres notícies que es tenen d’aquest castell daten del segle XI, on formava una quadra sota el domini de diversos cavallers.
Al segle XII, Cardosa estava incorporada al terme de Sedó.
L’any 1269, la quadra de Cardosa devia formar part del terme de Tarroja, ja que els Cardona, senyors de Tarroja, concediren una carta de franqueses a diverses famílies de Cervera que posseïen propietats “in termino Turris Rubee, ad planum de Cardosa”.
L’any 1352 n’era senyor Ramon Hug, casat amb Brunissenda.
L’any 1398, la Cardosa es convertí en carrer de Cervera, aquesta situació es va mantenir fins que Guillem de Tàrrega comprà la senyoria d’aquest lloc l’any 1452.
A principis del segle XIX pertanyia als Montull i Tello.