Tot i que el lloc de Bagà surt esmentat en el segle IX, no tenim cap referència d’aquest castell fins al segle XIII, en un testament de l’any 1277 de Galceran de Pinós, casat amb Esclarmonda.
L’any 1294, la vila de Bagà es trobava murallada.
L’any 1295, Galceran de Pinós i la seva dona, Berenguera, nomenaren a R. de Vallespirans com a procurador general i governador de llurs terres, inclòs el castell, la vila i els termes de Bagà per una durada de cinc anys.
L’any 1306, aquest castell fou ocupat per forces del rei Jaume II, manades pel procurador general de Catalunya Bernat de Fonollar, en guerra contra Pere Galceran de Pinós.
L’any 1313, n’era senyora Saura de Pinós, però a l’estiu abandonà la vila amb el seu fill per anar a residir a Berga.
L’any 1322, Bernat Ferrer de Ripoll era el rector del castell i Bartomeu de Quer, entre els anys 1336 i 1365 n’era el capellà de Santa Maria del Castell.
Durant el segle XIV, el batlle de Bagà també feia la funció de castlà.
En el fogatjament de 1365-1370, la “Vall de Bagà” comptava amb 50 focs i la “vila de Bagà” amb 50 focs.
En diversos documents del 1370, consta que Blanca de Vilademany, sogra de Pere Galceran de Pinós, residia a Bagà i governava les terres de la baronia pel seu gendre.
En la guerra de la Generalitat contra el rei Joan II, el vescomte Galceran Galceran de Pinós, senyor de Bagà, militava en el camp joanista.
L’any 1480, n’era senyor el vescomte Felip, però com no hi habitava regularment, el procurador i governador general d’aquestes baronies, era el noble Galceran Galceran de Pinós.
L’any 1484, n’era castlà Francí Matamala.
Quan Felip va morir l’any 1509 sense deixar fills, va sorgir un plet, sentenciat l’any 1532 en favor de bernat de Pinós i de Fonollet i en contra de na Guiomar, la vídua.
L’any 1572, n’eren senyors d’aquest castell, Diego de Toledo, conestable de Navarra, i la seva dona, Brianda.
A mitjans del segle XIX la vila pertanyia al duc de Medinaceli.
