La primera referència documental d’aquest castell data de l’any 855, està relacionada amb la llegenda sobre el trasllat del cos de sant Vicenç, on la seva relíquia va produir diversos miracles, un d’ells fou en aquest castell, on un tolit recuperà el moviment.
Entre els anys 1068 i 1095, Pere Ramon jurà fidelitat a Guillem, comte de Cerdanya pels castells de Peguera, Fígols, Vallmanya i Berga.
Dins el període entre 1117 i 1131, Guillem Ramon, fill de Berenguer i Sicardis, jurà fidelitat a Ramon Berenguer III, comte de Barcelona; posteriorment, l’any 1135, a Vic, tornà a jurar fidelitat, aquesta vegada davant de Ramon Berenguer IV.
Vers l’any 1148, Ramon Berenguer IV, comte de Barcelona, va donar en franc alou l’honor de Berga a Hug de Peguera, en gratitud per la seva campanya contra Tortosa.
L’any 1162, Pere de Berga, fill de Guillem Ramon i de Sibil·la, jurà fidelitat al rei Alfons “el Cast”; quatre anys més tard, el rei va donar permís a Pere per edificar un castell al lloc anomenat Blancafort, dins el terme del castell de Peguera.
L’any 1190, el feu de Berga tornà un altre cop al llinatge Berga, quan Berenguer de Peguera, amb el consentiment dels seus germans el va vendre a Pere de Berga per 1.300 sous, aquest va senyorejar fins l’any 1228, essent succeït pel seu fill homònim.
Vers l’any 1200, l’ordre hospitaler va establir una comanda a la vila de Berga.
Quan l’any 1275 finà Pere de Berga, heretà la seva filla Sibil·la, casada amb Arnau Roger, comte de Pallars, d’aquesta manera Berga passava a integrar-se al comtat de Pallars. Roger de Pallars, no va viure mai en aquesta vila, l’administració dels béns la feia un batlle que residia en el palau.
L’any 1309, Sibil·la, comtessa de Pallars i senyora de Berga cedí al rei Jaume II la vila i el castell de Berga, Montclar, Merola, Puighervassos, Fraumir, Butner, Blancafort, Pequerol, Montmajor, Carol, Tarsá, el delme de Malañeu i tots els dominis que tenia al Berguedà, a canvi el rei li cedia la vila i el castell de Tamarit, la vila d’Arbúcies, el castell de Gelida, Cervelló i altres dominis, a més de 180.000 sous.
L’any 1351, el rei Pere “el Cerimoniós” uní a la Corona totes les viles i castells del Berguedà.
L’any 1363, aprofitant que el rei passà per Berga, aquest acceptà la proposició que li féu el consell de la vila i acceptà que Berga comprés la baronia de Guardiola.
En el fogatjament de 1365-1370 comptava amb 556 focs reials.
L’any 1380, l’infant Joan visità la vila de Berga.
L’any 1391, el rei Joan I casà la seva filla Joana amb el comte Mateu de Foix, per tal de poder donar el dot promès, el rei va vendre a carta de gràcia, la vila de Berga i el territori de Berguedà, per 85.000 florins al seu gendre; el rei recuperà aquesta vila l’any 1393 i es comprometé a no alienar-la mai més.
L’any 1416, estigué en aquesta vila el rei Alfons “el Magnànim”.
L’any 1468, durant la guerra contra Joan II, l’exèrcit d’aquest s’apoderà d’aquest castell.
Vers l’any 1481, el baró de Pinós s’apoderà dels castells de Berga i Guardiola, tenint com a capità un tal Bellfort; tres anys més tard ho era el donzell Joan de Foix.
L’any 1581, els hugonots varen saquejar el castell i l’església, emportant-se tot l’or i plata que varen trobar, també les relíquies de Santa Cecília i les de Sant Llorenç.