La primera referència d’aquest castell data de l’any 1131, on el vescomte Guerau de Cabrera llegava al seu fill Ponç els castells de Vilves, Collfred i Anya entre altres.
L’any 1190, Sança de Rubió concedí als hospitalers de Sant Salvador d’Isot diversos delmes en els castells de Collfred i Vilves.
L’any 1328, tant Collfred com Vilves consten en el comtat d’Urgell, en la vinculació en favor de
El comte d’Urgell Jaume “el Dissortat” assignà els llocs de Collfred i Vilves a la seva germana Elionor.
El rei Ferran “el d’Antequera” donà aquest lloc a Francesc de Vilamarí, després de la derrota de Jaume d’Urgell.
L’any 1476, els dos capitans Esteve Grau i Lluís Mogarra s’apoderaren amb llurs companyies de Tremp, Talarn i Vilves, on començaren a actuar com a bandolers i amenaçant a
Al primer terç del segle XVII, aquest lloc pertanyia a l’abad de Montserrat.