La primera referència d’aquest castell data de l’any 1055, quan Dalmau i Elisava donaren un alou a Guifré situat “infra terminos de kastrum Rivi Nigri, in vocitato loco Suui”.
Al segle XI, tant Su com Riner pertanyien al comtat i bisbat d’Urgell i limitava amb el comtat d’Osona-Manresa.
Aquesta senyoria va pertànyer a la família Cervera fins al 1282, que el va vendre a Berenguer de Font, de Solsona.
La família Jorba el va tenir des del 1348 fins al 1588.