Ruïnes.
La primera referència d’aquest castell data de l’any 1048, on surt com una de les afrontacions del castell de Malagastre.
Va pertànyer al vescomtat d’Àger i en els seus inicis el tenien en feu els Bernat per Arsenda, muller d’Arnau Mir de Tost.
L’any 1172, Ramon Bernat el llegà al seu fill Ponç.
L’any 1196 n’era senyor Ponç de Seró.
L’any 1204, pertanyia al vescomte Guerau Ponç IV de Cabrera. Més tard passà als Cervera, ja que consta que en el 1227, Ramon de Cervera el llegà al seu fill Jaume.
L’any 1311, Dolça de Cervera donà en perpetuïtat el castell de Vernet al seu fill Pere d’Ayerbe. Més tard, formà part del marquesat de Camarasa.