Es tenen poques referències d’aquest castell i tot fa pensar que com la resta dels castells veïns, es devia bastir a mitjan segle XI, quan es va repoblar tota aquesta zona.
L’any 1078, Adelaida, filla dels vescomtes de Cardona, llegava els castells de la Guàrdia, Sant Guim, Vilalta, Palamós i Albió al seu marit Guillem Mir i a llurs fills.
Aquest terme estava vinculat a la Tallada.
En el fogatjament de 1365-1370 comptava “Tallada de vilalta” amb 12 focs i pertanyia a Castellolí, donzell; en el de 1381, “Taylada e Vilalta”, 10 focs i pertanyia a Ramon de Caldes.
