Enderrocat.
La primera referència del terme de la “Lavineria” data de l’any 1015, quan Borrell, bisbe de Vic, donà el lloc de la “Sagarra”, al levita Guillem d’Oló.
El domini eminent era dels bisbes de Vic, l’infeudaren als Cervera i els castlans inicialment foren els Rocafort.
L’any 1022, Randulf, ardiaca de vic, llegà aquest castell al seu fill Sunyer Randulf; aquest darrer el deixà al seu germà Ot Randulf l’any 1050.
L’any 1058, Hug Dalmau de Cervera deixà aquest castell al seu fill Ponç Hug.
L’any 1064, Guillem de Balsareny, bisbe de Vic i, el seu nebot Berenguer Seniofred de Lluçà, feren un conveni amb Hug Dalmau de Cervera i la seva muller Adalendis, on encomanaven en feu els castells d’Aguilar de Segarra i de la Llavinera.
A finals del segle XII passà a Ramon de Boixadors.
En el segle XII i XIII surt esmentada la família Llavinera, possibles castlans d’aquest castell.
L’any 1381, l’infant Joan concedí la plena jurisdicció de Llavinera i Sant Mateu, a Ramon de Boixadors.