Una de les primeres referències d’aquest castell data de l’any 1033, quan Ermengol i Constança, comtes urgellesos vengueren a Arnau Mir de Tost i a la seva muller el “chastrum de Lordano” per la quantitat de dos mil sous.
Les afrontacions d’aquest castell eren: Taravau, Covet, Conques i Abella.
Aquest castell guardava el pas de la conca de Tremp al baix Segre pel coll de Comiols i a l’Alt Urgell pel port de Bóixols.
L’església del castell de Llordà estava dedicada a Sant Sadurní i va ésser consagrada l’any 1040.
L’any 1053, Arnau Mir de Tost cedí els delmes d’aquest castell a Sant Miquel de Montmagastre.
L’any 1078, en una donació del castell de Biscarri pel comte d’Urgell, surt mencionat com a límit el castell de “Lordani”.
L’any 1201, el comte Ermengol d’Urgell i el vescomte Guerau de Cabrera, pactaren a propòsit del castell de Santalinya, com a garantia, el comte posà el “castri de Lorda”.
En el fogatjament de 1358 comptava amb 23 focs; en el de 1365-1370, Llordà, Isona i Biscarri, 94 focs, pertanyien al bisbe d’Urgell i es trobava dins la vegueria de Pallars.