Desaparegut.
Es creu que devia estar situat entre la Manresana i les Oluges, dins del comtat de Berga.
La primera referència documental d’aquest castell data entre el 1072 i el 1095, on el vescomte Guerau II Ponç de Cabrera jurà fidelitat als comtes de Cerdanya Guillem Ramon I i la seva muller Sança, per diversos castells, entre ells el de Brufaganyes.
L’any 1105, Ferrer, fill de Guerau II Ponç de Cabrera llegà en el seu testament Brufaganyes a la canònica de Santa Maria de la Seu d’Urgell.
En una data indeterminada fou cedit al monestir cistercenc de Santa Maria de Montbenet.
Al segle XVII pertanyia a Francesc d’Agulló; posteriorment un dels seus descendents vengué aquesta senyoria a Pau Preixens, que el 1700 el llegà al capítol de Tortosa. Posteriorment el monestir de Poblet, com a successor del priorat de Montbenet, reclamà els seus drets, n’aconseguí la recuperació d’una part.