La primera referència documental d’aquest castell data de l’any 1023, quan la comtessa Ermessendis empenyorà al seu fill Berenguer Ramon I, com a garantia de pau, aquest castell junt amb els de Besora, Curull, Orís, Lluçà i d’altres.
L’any 1118, Berenguer de Montcada lliurà aquest castell a Carbonell de Castellet, aquesta família serien castlans, durant més de dos-cents anys.
Al segle XIII, Guillem Ramon de Montcada passà a Anglaterra, i com va necessitar diners, Bernat Andreu li va prestar 7.200 sous barcelonesos, per aquest motiu Guillem Ramon va hipotecar el castell que aquí tractem i les terres que tenia a Sant Pere de Rellinars.
L’any 1291, Guillema de Montcada aporta com a dot en el seu casament amb l’infant Pere, aquest castell entre altres.
Als inicis del segle XIV, Sibil•la de Castellet, vídua d’Humbert de Rocafort, era la castlana del castell, quan aquesta morí al 1316, passà al seu gendre Bernat de Josa.
L’any 1358, el rei Pere “el Cerimoniós” vengué per 4.000 sous, el castell de Vacarisses, Rellinars i altres parròquies del terme del castell a Jaume Desfar, conseller del rei. Quan aquest morí al 1377, passà als seus fills, Jaume, Joan i Tomàs.
En el fogatjament de 1365-1370 comptava amb 72 focs.
L’any 1441, Violant, muller del cavaller Joan Desfar n’era la senyora; l’any 1497 n’era senyor Dalmau Desfar; al 1539 era senyora del castell Isabela-Beneta Desfar, casada amb Francesc Amat.
L’any 1596, Isabel Desfar n’era senyora de Vacarisses, Rellinars i Castellbell.
La família Amat posseí aquest castell fins ben entrat el segle XVIII.
El llinatge Amat aprofità l’expansió vinícola i la bonança econòmica per enderrocar bona part del castell i construí el casal fortificat que avui es pot veure,
Actualment es de propietat municipal i està en procés de rehabilitació.
