La primera referència d’aquest castell data de la segona meitat del segle XI, entre els anys de 1068 a 1095, on Pere Ramon jurava fidelitat a Guillem Ramon, comte de Cerdanya, varen signar un pacte que en el cas d’incompliment, el primer el posava en penyora als comtes Cerdans.
En el testament del comte Guillem Ramon, dictat l’octubre de 1094, llegava el castell de Fígols, Torroella i Vallmanya, Madrona, Casserres i Pinós al seu fill Bernat.
Vers l’any 1098, el comte prengué les possessions en virtut del pacte i les cedí a Berenguer Ecard.
Als voltants de l’any 1117, quan el comtat de Cerdanya passà a Ramon Berenguer III, comte de Barcelona, Guillem Ramon de Berga li prestà homenatge pel castell de Peguera, això es va repetir l’any 1135, però aquest cop amb el comte Ramon Berenguer IV, aquest quan va conquerir Tortosa va repartir moltes terres als senyors que l’havien ajudat, entre ells figurava Hug de Peguera.
L’any 1162, Pere de Berga, fill de Guillem Ramon, jurà fidelitat al rei Alfons “el Cast” per aquest castell i el de Fígols.
L’any 1166, el monarca autoritzà a Pere a construir un castell en el lloc anomenat Blancafort, dins el terme del castell de Peguera.
L’any 1190, Berenguer de Peguera, nét d’Hug de Peguera, vengué tot l’honor de Berga amb el consentiment dels seus set germans, a Pere de Berga, per la quantitat de 1.300 sous jaquesos.
L’any 1345, n’era batlle d’aquest castell Pere de “Conchs”.
En el fogatjament de 1381 comptava amb 33 focs.
L’any 1390, el rei Joan I vengué a Ramon de Peguera tota la jurisdicció per 34.000 sous.
A finals del segle XV, Felip Galcerán de Pinós i de Castre va vendre la baronia de Peguera a Francesc de Pinós.
Al segle XVII n’era propietari Francesc Agulló, família dels Pinós.