L’any 1010, Arnulf, bisbe de Vic i abat de Sant Feliu de Girona, finà en el seu “kastro Quolonicho” desprès d’acompanyar al comte Ramon Borrell en l’expedició a Còrdova; llegà aquest castell als seus nebots, fills del seu germà Ramon, vescomte d’Ausona, fill de Guadall i Ermetruit, vescomtes d’Ausona.
En un document de l’any 1039 s’anomena un tal “Minorem Vitalis de Colonio”, possible castlà.
L’any 1156, Ramon de Cardona, casat amb Elissendis, n’era senyor dels castells de Fals, Calonge, Castelltallat i la Molsosa; en el seu testament, llegava els castells de Fals i Calonge a la seva germana Dolça.
L’any 1195, Ramon de Tarroja, casat amb Gaia de Cervera, néta del comte barceloní Ramon Berenguer III, llegà el “castro Colonici” al seu fill Hug. El succeí la seva filla Agnès de Tarroja, que casà amb Ramon Folc, vescomte de Cardona; d’aquesta manera aquest castell tornava una altra vegada a l’òrbita dels Cardona.
L’any 1375, el “castrum de Colonico” s’integrava en el comtat de Cardona.
En el fogatjament de 1381 comptava amb 18 focs.
L’any 1391 n’era castlà Ramon de Fontanet.
Més tard, apareix Calonge com un dels “llochs del Ducat” de Cardona i dins de la vegueria de Cervera.
