El topònim Alfama procedeix de l’àrab al-hamma que significa “el bany calent, les aigües minerals”.
La primera referència que tenim d’aquest lloc data del 1201, quan el rei Pere “el Catòlic” donà el desert d’Alfama al cavaller Joan d’Almenara i al seu company, el clergue subdiaca Martí Vidal, a canvi aquests havien de bastir un castell amb hospital.
L’any 1229, aquest castell ja era habitat per l’orde de Sant Jordi d’Alfama que professaven la regla de sant Agustí. Aquesta orde prengué part a la conquesta de València.
L’any 1399, Francesc Ripollès fou el darrer mestre, renuncià el mestrat. Un any més tard, per decret papal, aquesta orde fou incorporada a la de Muntesa, anomenant-se de Santa Maria de Muntesa i de Sant Jordi d’Alfama.
Al segle XV degut a la presència de pirates al litoral català els mestres i els priors de Muntesa deixaren de residir-hi.
Vers el 1575, hi hagué un plet entre la ciutat de Tortosa i l’orde de Muntesa, a propòsit de qui tenia que pagar les guardes que hi havia a Alfama, la sentència reconegué el dret que tenia l’orde sobre el lloc.
L’any 1650, les galeres espanyoles destruïren aquest castell, per tal d’evitar que els francesos i catalans es poguessin fortificar.
Al segle XVII o XVIII aquest castell es reedificà a la vora de la mar, d’estil Vauban.
