Ruïnes.
La primera referència d’aquest castell data de l’any 1179, en un conveni establert entre el rei Alfons “el Cast” i Guillem de Cervera, on el rei li encomanava diversos castells, entre ells el “castrum de Albio”.
L’any 1202, l’Albi i Cervià reberen franqueses per part del rei.
L’any 1236, finà Arnau de Timor, senyor de l’Albi i de Montblanquet, rebé sepultura en el monestir de Poblet.
Sibil•la de Montcada era senyora de la baronia de l’Albi i Cervià, es va casar amb Eimeric de Centelles que finà el 1336. Llur fill Ramon, heretà aquesta baronia entre altres.
En el fogatjament de 1365-1370 comptava amb 119 focs, pertanyia a Ramon Pere, ciutadà de Lleida i es trobava dins la vegueria de Montblanc; en el de 1381, 63 focs i pertanyia a Acart de Mur.
L’any 1396 pertanyia a Lluís de Mur i a començaments del segle XV, Acard de Mur, fill de Lluís, es casà amb Elfa de Cardona, filla del comte Hug de Cardona i que feia quatre anys s’havia quedat vídua de Joan II, comte d’Empúries.
Quan Acard finà, el succeí el seu fill homònim que morí molt jove el 1410, llavors senyorejà l’Albi, la seva germana Violant-Lluïsa de Mur, que es casà el 1418 amb Frederic d’Aragó, comte de Luna, fill del rei Martí “el Jove” de Sicília; la comtessa de Luna finà el 1467 a Barcelona, fou enterrada a Santa Clara.
Violant, filla del baró Acard de Mur, es casà amb Ponç de Perellós, els succeí llur filla, Elfa de Perellós, que al casar-se el 1444 amb Hug de Cardona i de Centelles, baró de Bellpuig, passà la baronia de l’Albi als Cardona.
Durant la guerra de la Generalitat contra Joan II, la baronia de l’Albi li fou confiscada a Hug de Cardona i de Perellós.
Al segle XVII, la senyoria pertanyia a Maria d’Erill, es trobava dins la vegueria de Montblanc.
Al segle XIX es va fer servir com a presó.
En la guerra dels Set Anys, aquest castell va ésser incendiat.