Enderrocat.
També es coneix com el castell de l’arquebisbe.
Sembla ésser que l’any 986 ja existia aquest castell, al costat hi havia un petit grup de cases, denominat “Vilar den Valls”, pertanyia a un personatge d’aquesta família, encara que l’historiador tarragoní Emili Morera dubta d’aquests arguments.
L’any 1023, en la venda que va fer Berenguer Ramon I i la seva muller Sança, comtes de Barcelona, surt esmentat el “castellare de Vallibus”.
L’any 1112, “Vallis” era un terme del castell de Querol.
L’any 1130, Guillem de Valls va vendre el terreny on s’edificaria el castell a Oleguer, arquebisbe de Tarragona.
L’any 1183, Berenguer de Vilademuls, arquebisbe de Tarragona, concedí la ferreria de Valls, Espinavessa i Picamoixons a Ramon Ferrer.
L’any 1173, signaren una concòrdia entre l’arquebisbe Guillem de Torroja i el rei Alfons “el Cast” en la que tots dos tenien el condomini del Camp de Tarragona.
L’any 1210, el rei Pere “el Catòlic” concedí en la “Villa de Vallibus” que es pogués fer mercat setmanal els dimecres, ja es celebrava un, cada dissabte. Tres anys més tard, el mateix monarca prometé que mai no donaria, ni vendria, ni empenyoraria aquesta vila.
L’any 1254 n’era castlà Berenguer de Puigverd.
L’any 1294, l’arquebisbe de Tarragona i els senyors de Castellvell, pledejaven per uns termes de Valls i Vallmoll.
Des de mitjans del segle XIII fins a finals del segle XIV, la senyoria era representada per quatre batlles: de l’arquebisbe, del rei, del paborde i del castlà.
L’any 1314, es reedificaren els murs de la vila de Valls.
En el fogatjament de 1358 comptava amb 547 focs; en el de 1365-1370, 569 focs, en ambdós casos era de l’arquebisbe de Tarragona.
L’any 1382, el rei Pere “el Cerimoniós” va cedir la jurisdicció que exercia “in-diviso” amb l’arquebisbe, a una cosina germana seva, Elionor Maria d’Aragó, reina de Jerusalem i Xipre.
L’any 1388, n’era batlle en aquesta vila, Berenguer de Castellgalí, més tard, el rei posà a Bernat de Llobet.
L’any 1390, el rei Joan I vengué la jurisdicció de Valls a Ènyec de Valterra, arquebisbe de Tarragona.
L’any 1706, Carles d’Àustria sojornà en aquest castell.
L’any 1709, Valls rebé el títol de ciutat.
Al segle XIX pertanyia a la família Baldric.
L’any 1845, a l’entresol del castell hi havia l’anomenat “cafè del Casildo”.