La primera referència documental data de l’any 1052, on surt anomenat com “kastrum de valle frausa”.
L’any 1107, el vescomte Guerau Ponç i la seva dona Adelaida, donaren l’església de Vallferosa amb les altres del seu terme a l’Església de Solsona.
L’any 1260, Berenguer de Bescara testà, ordenava a Pere de Berga i Galceran de Santafè, marmessors seus, que venguessin els castells de Vallferosa i Vilaplana per pagar els deutes que havia contret.
Al segle XIV, aquest castell pertanyia a la família osonenca dels Brull.
L’any 1375, aquest és un dels castells que passa a constituir el comtat de Cardona.
En el fogatjament de 1381 comptava amb 24 focs i pertanyia a R. Brull.
L’any 1406, n’era senyor el cavaller Ramon del Brull i castlà del Brull.
L’any 1623, morí Mília de Ferrera i d’Olivella, baronessa de Vallferosa.
Al segle XVII, pertanyia a la batllia de Torà i al ducat de Cardona.