També se’l coneix amb el nom de castell de les Planes.
Aquest lloc surt esmentat l’any 983, en l’acta de consagració del monestir de Sant Llorenç de Bagà.
En un període comprés entre el 1018 i 1023, el comte Guifre de Cerdanya jurà fidelitat a Ermessendis, comtessa de Barcelona, per diversos castells, entre ells el de “Sancto Matheo”.
L’any 1086, Ramon Folc, vescomte de Cardona, cedí diversos castells, entre ells el de “S. Matheo” a la seva muller Ermessendis i al seu germà Folc.
L’any 1306 n’era senyor Berenguer de Boxadós que també ho era del de Boxadós.
En el Fogatjament de 1358 comptava amb 42 focs, pertanyia a “Bernardus Geraldi de Boxados”; en el de 1365-1370, 45 focs.
L’any 1381, el rei Pere “el Cerimoniós” vengué a Ramon de Boxadós perpètuament, lo mer i mixt imperi, tota jurisdicció alta i baixa en els castells de “Sant Pere Ça-lavinera”, de la vegueria de Cervera; de Sant Mateu i d’Aguilar, de la vegueria de Bages, per 700 florins d’or d’Aragó. En virtut d’aquesta venda, donava facultat al comprador d’aixecar en dits castells forques.
En el segle XV n’eren senyors la família Gaver, més tard ho foren els Peguera, mitjançant enllaç matrimonial.
