La primera referència documental la tenim compresa entre els anys 1068 i 1095, quan Galceran, fill de Sicardis prestà jurament de fidelitat a Guillem Ramon, comte de Cerdanya. Posteriorment entre els anys 1109 i 1117 es tornà a fer el mateix sagrament, aquesta vegada va ésser amb el comte Bernat Guillem; quan aquest darrer finà, passà a Ramon Berenguer III, comte de Barcelona.
L’any 1165, n’eren senyors d’aquest castell en Galceran i Berenguera de Pinós, es creu que en aquesta època n’eren els castlans la família Saldes.
Entre els anys 1162 i 1196, Galceran de Pinós jurà fidelitat al rei Alfons “el Cast”, per aquest castell i d’altres. El succeí el seu fill homònim que l’any 1279 arrendà durant cinc anys els rèdits de Saldes.
L’any 1294, Galceran de Pinós i la seva dona Berenguera, varen ratificar a Jaume Martí, de Bagà, la batllia i el terme d’aquest castell. Un any més tard va ésser nomenat R. De Vallespirans com a governador d’aquest territori.
L’any 1296, Galceran de Pinós donà a Jaume Digo, de Bagà, aquest castell amb la condició que hi fes estada permanent amb la seva família.
Entre 1306 i 1316, aquest castell junt amb el de Bagà, Gavarrós i Gósol varen estar ocupats per les forces del rei Jaume II que estaven en guerra amb Pere I Galceran de Pinós. Quan aquest darrer finà, es produí una controvèrsia respecte de si calia retre homenatge al rei pels castells de Gósol, l’Espà, Saldes i Querforadat; els juristes sentenciaren a favor dels Pinós ja que els tenien en propi alou, i no pas enfeudats pel rei.
L’any 1324, morí el donzell Bernat de Gósol, que posseïa aquest castell entre d’altres en feu, pel baró de Pinós. El succeí la seva filla Violant que prengué la investidura de mà d’en P. De Santa Eulàlia.
L’any 1326, els homes de Gresolet varen estar penyorats perquè no havien acudit al so que havia estat emès des del castell de Saldes.
L’any 1344, el baró de Pinós arrendà aquest castell per 85 lliures.
L’any 1357, Ramon Fortuny va ser nomenat batlle de saldes per Pere III Galceran de Pinós.
L’any 1370 es varen fer obres al castell, principalment a la residència del senyor.
En el fogatjament de 1365-1370 comptava amb 58 focs, també es troba inclosa aquí la parròquia de Turbaus. En el fogatjament de 1381, s’assigna al castell de Saldes, 36 focs.
L’any 1383, Bernat I Galceran de Pinós, heretà del seu germà Pere aquest castell i jurà de guardar els privilegis de Saldes.
L’any 1484, durant la revolta dels remences, aquest castell estigué en perill de ser pres pels pagesos.
Al segle XVII, aquest castell pertanyia al duc d’Alba.