Ruïnes.
També s’anomena castell del Toscar.
Després de la conquesta de Tortosa, aquest castell surt esmentat amb el topònim “Castles” i fou donat arran d’aquesta reconquesta per Ramon Berenguer IV, comte de Barcelona, a Pere de Sentmenat, casat amb Ermessendis, era castlà de Sentmenat i esdevingué el 1149, castlà perpetu del castell de Tortosa, que pertanyia als Montcada.
L’any 1170, heretà el seu fill Arnau, tant el patrimoni tortosí, com el castell de Castles.
L’any 1237, Ramon de Sentmenat atorgà carta de poblament, dels indrets de Carles i d’Alfara.
L’any 1287, Guillem de Sentmenat donà al seu fill Pericó, el castell de Carles i el caseriu d’Alfara.
L’any 1315, s’establí un conveni sobre els emprius, entre Pere de Sentmenat, senyor de Carles, i la ciutat de Tortosa.
L’any 1359, Carles pertanyia a la vegueria de Tortosa.
L’any 1384, el rei Pere “el Cerimoniós”, vengué al saragossà Juan Don Sancho, els drets que posseïa a Carles i Paüls.
L’any 1432, el consell tortosí deliberà per comprar el lloc i castell de Carles, dos anys més tard fou comprat.
Vers l’any 1480, el poble de Carles fou despoblat degut a una epidèmia, els supervivents es traslladaren a Alfara.