Ruïnes.
La primera referència d’aquest castell data de vers l’any 1021, quan Bernat “Tallaferro”, comte de Besalú, va llegar “ipso castello quem dicunt Collotorto” al seu fill Guillem.
L’any 1054, Guillem II de Besalú es va comprometre a lliurar a Ramon Berenguer I, comte de Barcelona, l’escriptura de cessió dels castells de Finestres i Colltort.
L’any 1057, Guillem de Besalú, amb motiu del casament amb Artal de Pallars, empenyorà el castell de Colltort, amb la seva castlania, lliurant-lo al bisbe Guillem de Vic.
L’any 1184, hom pensa que “Olivari de Colltort” n’era el castlà.
L’any 1210, Mir d’Hostoles n’era el senyor; dos anys més tard disposava que la seva filla Dolça heretava diversos castells i “duas partes castri de Colltorto”, mentre que la tercera part aniria a l’altra filla Guillemina i al fill d’aquesta Galceran.
L’any 1339, el rei Pere “el Cerimoniós” declarà que no separaria mai el castell de Colltort de la Corona.
L’any 1472, Anna, muller de Guillem d’Oms, baró de Santa Pau, concedí privilegis als habitants de “Santiscle de Colltort”.