La primera referència que es fa d’aquest castell data de l’any 979, on en un pergamí es fa la venda per Bonhome i la seva dona, Druda, a Gonmar, surt amb l’expressió de “Castell Belit”; dos anys més tard, torna a sortir com “Castel Belido”, al comtat de Manresa.
Es creu que a la segona meitat del segle XIII, el posseïa Guillema de Bell-lloc i el va llegar a Gastó de Montcada, essent feudatari Humbert de Rocafort l’any 1285; quan aquest finà, passà les seves possessions a la seva muller, Sibília.
L’any 1306, la castlania estava en possessió de Sibília i Berenguer de Castellbell, cavaller, la tenien en feu pel rei.
L’any 1312, el rei Jaume concedí la jurisdicció del castell i del terme de Castellbell a Sibília, amb la condició de no perjudicar els drets reials; quan aquesta finà l’any 1315, aquest castell passà a una de les seves filles, casada amb Ramon de Ciraria (Cirera), que s’anomenava senyor de Castellbell i Castellet de Bages.
L’any 1340, n’era senyor Guillem de Ciraria, segurament el fill de Ramon i castlà n’era Ramon de Castellbell, cavaller.
L’any 1355, surt anomenat com a senyor d’aquest castell, el venerable Guillem de Camp, ciutadà de Manresa.
En el fogatjament de 1358 comptava amb 24 focs.
L’any 1362, Jaume Desfar, fill del conseller reial Jaume Desfar, senyor de Vacarisses, Castellbell i Rellinars, comprà la castlania del castell de Vacarisses a Guillem de Camp; el succeïren els seus fills, Gabriel i Joan, aquest darrer es va fer càrrec del castell que aquí tractem i Gabriel va ésser governador de Catalunya i veguer de Manresa i Bages l’any 1397.
En el fogatjament de 1365-1370 comptava amb 54 focs.
L’any 1468, Francesc de Gàver, va prendre aquest castell a Manuel de Rajadell, qui el tenia pel rei Joan.
L’any 1485, els remences conquistaren aquest castell i van ferir al seu senyor, mossèn Maçanet.
L’any 1500, n’era senyor Francesc Miquel Ça Rocha i veguer de Manresa; posteriorment l’any 1525, n’era senyor Berenguer Francesc Ça Rocha, quan aquest morí l’any 1354, passà a la seva muller, Joana de Boixadors i Camporrells.
L’any 1596, Isabel Desfar, vídua de Francesc Amat, era la senyora d’aquest castell entre d’altres.
Al segle XVII, aquest castell pertanyia a la família Amat, oriünda de Terrassa fins al segle XIX.
L’any 1702, Felip V va crear el marquesat de Castellbell, el primer va ésser Josep d’Amat de Planellas i Despalau, senyor d’aquest castell, finà l’any 1715; el succeí el seu fill, Josep d’Amat i de Junyent, l’any 1719 va volar aquest castell per tal de que no es fortifiqués en ell el seu enemic, Francesc Bernic de Collbató, capitost dels miquelets de França.
Aquest títol de marquès, amb grandesa d’Espanya des del 1924, passà als Villalonga.
Actualment pertany al Sr. Emili Viudes.