La primera referència d’aquest castell data de l’any 1081, quan Arnau Company i la seva muller Guilla donaren els castells de Verdú i Talarn a Guillem Bernat i la seva muller Beatriu, figurava dins el comtat d’Ausona.
L’any 1184, Berenguera de Cervera dispensà perpètuament als habitants de Verdú del mal ús d’eixorquia, a condició que traslladessin la vila al pla davant del castell i que l’encerclessin de muralla i fossat.
L’any 1203, Guillem de Cervera empenyorà els castells de Verdú i Preixana, arran de peregrinar a Terra Santa, el profit requeia en el monestir de Poblet.
L’any 1222, el rei Jaume I a sol•licitud de l’abat de Poblet, posà sota la protecció reials els castells de Verdú i Preixana.
L’any 1227, Guillem de Cervera traspassà a l’abat de Poblet el castell i la vila de Verdú, dins el comtat de Manresa.
L’any 1272, el rei Jaume I confirmà el “castrum de Verduno” al monestir de Poblet.
L’any 1317, el rei Jaume II assignà el terme de Verdú a la vegueria de Cervera.
L’any 1330, Verdú és assignat a la vegueria de Tàrrega.
L’any 1342, el rei Pere “el Cerimoniós” empenyorà al monestir de Poblet els mer i mixt imperis de la vila de Verdú, per 35.000 sous barcelonesos.
En el fogatjament de 1365-1370 comptava amb 175 focs i es trobava dins la vegueria de Montblanc.
L’any 1388, el rei Joan I vengué la jurisdicció civil i criminal a Poblet.
L’any 1462, la bombardeja el rei Joan II, essent la primera vegada que es feia servir la pólvora al nostre país, posteriorment, l’abat Ferran de Lerin la restaura entre els anys 1531 i 1545.
L’any 1916, el Patronat de sant Pere Claver adquirí la casa-palau a Josep Solà, de Vilanova de Bellpuig per 4.500 pessetes.
.