La primera referència documental data de l’any 1148 en una escriptura de donació feta per Guerau de Granyena i la seva dona Sança a favor d’Arnau de Montpaó i la seva dona Lloreta. Poc li duraria la tranquil•litat ja que l’any 1153 es va fundar el monestir de Poblet dins el seu terme.
L’any 1163, finà Guerau, passant els seus béns al seu germà Bernat, llavors els frares de Poblet demanaren una compensació pel fet de que devien guardar les despulles i pregar per l’ànima, finalment Bernat els cedí solemne i formal Milmanda. Aquesta propietat la confirmà el rei Jaume I l’any 1272.
Entre 1316 i 1348, l’abat Ponç de Copons bastí la torre de defensa de l’entrada.
A partir del segle XVI fou abandonat i a començament del segle XVIII, Felip Genovès el reconstruí per fer-ne un lloc d’esbarjo per als superiors del monestir.
Amb el desamoritzament del segle XVIII, el castell passà a la venda pública i a domini particular.