Bon estat.
La primera referència d’aquest castell data de l’any 1060, quan Guisla, comtessa d’Empúries, donà un alou de la parròquia de “Sancti Felici de Garrigua” a la seu de Girona.
Viladamat fou un feu dels senyors de Torroella de Montgrí. Després de Guillem de Montgrí, aquesta senyoria passà al monestir de Sant Pere de Roda que ja el posseïa el 1280.
L’any 1347 n’era senyor d’aquest lloc Pere Arnau de sant Feliu.
L’any 1383 es va començar a construir aquest castell per ordre del rei Pere “el Cerimoniós”.
Vers l’any 1388 n’era senyor Jofre de Vilarig, casat amb Alamanda.
L’any 1409, el comtat d’Empúries fou incorporat a la Corona, un d’aquests llocs fou “Sant Feliu Çagarriga”.
L’any 1442 pertanyia a Gueraula, casada amb Bernat Guillem de Jofre, que el donà a la seva filla Bartomeua, futura esposa de Dalmau Gallart.
Durant la guerra de la Generalitat contra el rei Joan II, aquest castell va ésser derruït, posteriorment al segle XVII es va reconstruir.
Durant la guerra dels Segadors n’era senyor Joan de Margarit i de Biure.