Una de les primeres referències data de l’any 1085, on en la venda d’un alou el castell d’”Elenio”, actual municipi de Calonge de Segarra, afrontava a orient amb el castell de “Buxum dorsi”.
L’any 1124, Ramon Guillem de Boixadors, senyor d’aquest castell i Pere Ponç de Falcs establiren una concòrdia amb el vescomte de Cardona.
L’any 1226, Bernat “den blanc” llegà els termes de Calaf, Mirambell i “Castro tort” i “Buxadors” al seu fill Pere.
Entre 1273 i 1276, Arnau de Boixadors rebé terres i cases a València de la casa reial.
L’any 1297 n’era senyor Berenguer de Boixadors, fou nomenat veguer de Cervera i Tàrrega, el succeí el seu fill Guillem, que ostentà també aquest càrrec en el període de 1311 a 1318, es casà amb Esclarmonda i finà abans del 1323 a l’illa sarda, el succeí el seu fill Guillem, com aquest morí sense descendència vers el 1343, l’herència passà a la branca dels Boixadors establerta al País Valencià. Quan Bernat de Boixadors tornà a València per instal•lar-se a Catalunya, obtingué la senyoria de Boixadors i la lloctinència de la procuració pel comte d’Urgell, quan morí, Pere III ordenà la seva sepultura en el convent de frares menors de Lleida, al costat de la del rei Alfons.
L’any 1358 n’era senyor Bernat Guerau de Boixadors, finà vers el 1366.
En el fogatjament de 1365-1370 comptava amb 24 focs, pertanyia a Bertran de Boixadors i es trobava dins la vegueria de Cervera; en el de 1381, 18 focs i pertanyia a R. de Boixadors, donzell.
L’any 1425, Ramon Berenguer, casat amb Aldonça de Talamanca, finà sense descendència, llavors aquesta senyoria passà a la seva germana Beatriu de Boixadors, casada amb Arnau de Foixà.
En el segle XV aquest castell fou conegut com a varvassoria de Boixadors, ja que va ésser el centre de la baronia de Boixadors.
Al segle XVII, en un memorial presentat al sobirà consta que pertanyia a Galcerán de Foixá i es trobava dins la vegueria de Cervera.
L’any 1622, el domini passà als Salvà, posteriorment als Xatmar el 1725.