Ruïnes.
La primera referència d’aquest castell data de l’any 1075, es trobava dins el comtat d’Ausona.
L’any 1193, Guerau Alamany llegava aquest castell al seu nebot “Gerallo de Aquilone”, si no al seu pare Guillem, i en últim cas a “Raimundo Alaman”.
Segons Fort i Cogul, la família dels Aguiló, eren els senyors de Talavera i Pavia. Aquest llinatge instituí hereu el seu fill, si aquest moria sense descendència, llavors el castell havia de passar al monestir de Santes Creus.
L’any 1360, el rei Pere “el Cerimoniós” vengué en alou a “Brayda”, casada amb Bernat de So, els mer i mixt imperis i les jurisdiccions civil i criminal dels castells de Talavera i Pavia, per 1.000 florins d’or de Florència.
En el fogatjament de 1365-1370, els “Lochs de Talavera e de Pavia” comptaven amb 55 focs, pertanyien al noble “Bertran Dossó” i es trobava dins la vegueria de Cervera; en el de 1381, 25 focs.
En el primer terç del segle XVII, Talavera i Pavia pertanyien als hereus de Guillem de Sant Climent.
L’any 1656, finà Francesc de Corbera-Santcliment, baró de Llinars, Talavera i Pavia.
L’any 1702, Elisabet Maria de Corbera-Santcliment, néta de l’esmentat Francesc, es casà amb Josep Antoni de Rubí, marquès de Rubí. Quan finaren els senyorius, Talavera i Pavia seguien pertanyent als marquesos de Rubí.