Tot i que pertany al mateix sistema defensiu que els altres castells d’aquesta zona, no apareix d’una manera clara en la documentació a Arnau Mir de Tost.
Dues mencions, una del 1024 i una altra del 1028, amb el topònim “Castelare” no permeten afirmar que es tracti del castell de Castellar; també és estrany que en l’acta de consagració de sant Martí de Tost no hi hagi cap referència a aquest castell.
La primera referència clara data de l’any 1086, quan Gidenel i els seus fills donaren un alou “in apendicio Sancti Martini in prenominatum locum Kastellari, in terminum kastri Tostensi” a Santa Maria de la Seu.
L’any 1150, Arnau Mir de Pallars Jussà empenyorà el castell de Castellar de Tost entre d’altres al bisbe Bernat i als canonges de la Seu, per 400 morabatins òptims d’or.
