Ruïnes.
La primera referència d’aquest castell data de l’any 977, en un conveni entre el bisbe Vives de Barcelona i Guitard de Mura, per raó del castell d’Albà, surt anomenat com “castrum de Ceume”.
L’any 1067, el límit occidental del castell de Ponts limitava amb el de “Celma”. Un any més tard, aquest darrer surt com afrontació amb el castell de Montmell.
L’any 1142, Guillem de Sant Martí, cedí aquest castell als templers.
Els templers establiren a Selma una comanda, el comanador més antic que es coneix és Guillem de Romaní, el 1225.
Quan va desaparèixer l’orde del Temple, aquest castell passà a dependre del Gran Prior de Catalunya.
L’any 1345 n’era castlà Ramon de Prat.
L’any 1357, la castlania requeia en Marc de Montagut, que va prestà homenatge a Pere Arnau de Perestortes, Gran Prior, a l’Espluga de Francolí.
En el fogatjament de 1365-1370 comptava amb 2 focs, pertanyia a Bertran de Gallifa.
L’any 1381, els procuradors del rei vengueren al Gran Prior els mer i mixt imperis i tota la jurisdicció de Selma.
L’any 1471, en la guerra de la Generalitat contra Joan II, “Guillem Goloffre” era capità del castell de Selma i de Pontons, militava en el bàndol català.
L’any 1491, el comendador de Selma i de Vallmoll, de l’orde de Sant Joan de Jerusalem, ho era el frare Joan d’Argençola.
A la segona meitat del segle XVI, aquest castell ja es trobava en ruïnes.
Posteriorment, els hospitalers bastiren un nou castell entre el 1557 i el 1567, que fou destruït el 1822.
L’orde de l’Hospital senyorejà Selma fins a l’abolició dels senyorius al segle XIX.