La primera referència d’aquest castell data de l’any 1040, on consta que pertanyia a Santa Maria de la Seu d’Urgell i dins del terme de Guissona.
Els feudataris d’aquest lloc varen ésser els Fluvià que ajudaren tant al comte com el bisbe d’Urgell. Aquesta família foren els castlans durant els segles XII i XIII que el bisbe d’Urgell tenia a Guissona.
A mitjans segle XII posseïen els castells de Sant Guim, Foratmicó, Tudela, Queràs i la meitat del de Guissona.
A mitjan segle XIV quan finà Guillem de Fluvià, passà a la seva germana Blanca, casada amb Berenguer Sacosta, senyor de la Figuera; l’any 1380 aquesta família degué passar per problemes econòmics ja que es va vendre el senyoriu de Tapioles, tres anys més tard posaven a la venda el terme de Fluvià per 170 sous barcelonins; aquesta venda va produir l’any 1389 quan el varen comprar, la universitat de Guissona, amb l’ajuda de la canònica de Guissona i les universitats de Torrefeta, Ossó de Sió i del poble de Fluvià.
L’any 1505, Pere de Cardona, bisbe d’Urgell, adquirí la total jurisdicció del lloc amb tots els seus drets que posseïa la universitat de Guissona, una de les condicions d’aquesta compravenda era que es tenia que enderrocar el castell.