També és anomenat “antic palau comtal”.
Una de les primeres referències la tenim l’any 1079 en la que els dos comtes bessons, Ramon Berenguer II i Berenguer Ramon II compartien aquest castell-palau.
L’any 1157, fou reparat per Berenguer IV.
S’ha discutit molt si l’infant Ramon, que més tard seria Alfons I d’Aragó “el Trobador”, fill de Ramon Berenguer IV i Peronella, nasqué en aquest castell o a Osca, el seu naixement se situa entre 1152 i 1158, finà a Perpinyà el 1196.
L’any 1272, a la carta-pobla de Cardedeu surt anomenat com “castri Villemajoris”.
L’any 1381, els procuradors de Pere “el Cerimoniós” van vendre a Bernat de Cabrera les parròquies de Vilamajor i Cardedeu amb les seves jurisdiccions.
A mitjans del segle XVI estava abandonat, però no es podia treure cap pedra que no fos destinada per a la construcció de la nova església, que és l’actual.
L’any 1929, la torre va ser restaurada.
