L’any 1123, el rei aragonès Alfons “el Bataller” va fer fortificar el puig de Gardeny quan entrà en pugna amb el comte Ramon Berenguer III.
Sembla ser que l’Ordre militar del Temple renuncià als drets que els conferia el testament d’Alfons “el bataller”, en compensació, Ramon Berenguer IV atorgà l’any 1143 als cavallers del temple diversos castells i llocs de Catalunya i Aragó.
El comte de Barcelona prometé al Temple la desena part dels territoris que fossin incorporats a la Corona i la cinquena part de tot allò que fos guanyat als sarraïns.
L’any 1149, Ramon Berenguer IV s’establí al puig de Gardeny per a començar el setge, la paga donada pel comte de Barcelona als templers per la presa de Lleida fou lo puig i castell de Gardeny.
La primera referència documental com a casal templer data de l’any 1152.
Gardeny fou la casa cabdal dels templers a Catalunya i l’any 1156 n’era comanador el frare Pere de Cartellà.
L’any 1228, el rei Jaume I atorgà una carta de protecció als templers de Gardeny.
Gardeny fou una comanda templera fins a l’any 1314, abolit l’ordre, estigué en poder reial fins a l’any 1318, que fou cedida a l’ordre de l’Hospital de Sant Joan, que el feren el centre dels seus dominis.
Un inventari de l’any 1373, sent comanador fra Pere Toló, dona la sensació que aquest lloc havia perdut l’essència castellera, ja que no apareix cap arma, ni defensiva ni ofensiva, passant a ésser un monestir.
L’any 1464, quan el rei Joan II s’apoderà de Lleida, nomenà capità del castell de Gardeny a Alfons d’Aragó, mestre de Catalunya.
L’any 1499 seguia en actiu la presó d’aquest castell.
Consta que l’any 1627, la clau del castell la guardava el pagès Baltasar Casamajor, per ordre de mossèn Jeroni Soler, encarregat de l’església.
Durant la guerra de Separació tornà a servir com a castell.
L’any 1647, el príncep de Condé s’apoderà del tossal de Gardeny, de Puig-Bordell i del Secà de Sant Pere, les tres altures de la banda dreta del Segre.
L’any 1772, s’extingí el priorat de Gardeny.
L’any 1810 fou ocupat per les tropes franceses.
Aquest castell es pot visitar, per més informació i reserves es pot trucar al 973.271.942.