Aquest castell es troba situat a 867 metres s.n.m.
El seu origen devia ésser aràbic, quan es va prendre Siurana, les forces de Guillem de Claramunt prengueren els territoris de la Mussara i l’Albiol.
L’any 1158, Bernat Tort, arquebisbe i Robert d’Aguiló, príncep, donaren aquest lloc a Joan de Martorell, tenia que reconstruir el castell i amb l’obligació de conservar-lo en feu per l’església de Tarragona.
L’any 1164, amb l’acord del paborde de la Catedral de Tarragona, a Joan de Martorell li fou confirmada la possessió del castell i el lloc de l’Albiol.
L’any 1187, el rei Alfons “el Cast” donà la jurisdicció i altres drets d’aquest lloc a l’arquebisbe Berenguer de Vilademuls, aquest ho cedí al capítol de la Seu, la resta de drets foren donats a Guerau d’Avinyó, que permutà el seu cognom amb el d’Albiol.
L’any 1209, Dalmau de l’Albiol i la seva muller Berenguera, vengueren els drets dels termes de l’Albiol, al paborde Ramon de Sant Llorenç, senyor de la Selva del Camp.
Com l’arquebisbe i el capítol tarragonins eren copropietaris, en determinats moments les relacions no foren amistoses.
En el fogatjament dimanat de 1359 consta: “La Selva, Albiol, é Burquet de Preborda de Tarragona...319 fochs”.
L’any 1450 n’era senyor el procurador de l’arquebisbe i cambrer de Tarragona.
L’any 1472, Arnau de Just, de Tortosa, era capità del castell.
En un fogatjament del 1496 esmenta que el senyor era mossèn bestià, nombrat en Reus.
L’any 1654, fou manat enderrocar.
El paborde tingué el senyoriu del castell i del terme de l’Albiol fins al segle XVIII.