Enderrocat.
La primera referència d’aquest fortalesa data de l’any 1022, quan “Segui”, senyor de Castellar, llegà el castell de Castellar i la torre de Vilallonga, al seu fill “Companio”.
L’any 1245, el rei Jaume “el Conqueridor” expedí un privilegi en favor dels “hominibus Sancti Martini de Sgleyoles”, declarant-los lliures de cugúcies, eixòrquies, intèsties, etc.
En el fogatjament de 1358, “Sent Marti d’Esgleyoles” era lloc reial.
L’any 1379, el rei Pere “el Cerimoniós” i el seu fill Joan, duc de Girona, varen vendre a carta de gràcia, el terme de Sant Martí, amb la Guàrdia Pilosa i Veciana, al cavaller Joan de Montbui, governador reial de l’Illa de Sardenya, per 2.500 florins d’or d’Aragó.
L’any 1386, Pere de Vilallonga era senyor d’aquest castell i castlà de Calaf.
L’any 1412, Pere Ripoll, de Cardona, vengué el terme de Vilallonga, a Guillem de Rajadell.
L’any 1689, Anton d’Armengol, baró de Rocafort, casat amb Gertrudis d’Aymerich i de Cruïlles i d’Argençola, vengué aquest castell a Pau Dalmases, comerciant; aquesta família mantingué el senyoriu fins a la seva extinció en el segle XIX.