Una de les primeres referències d’aquest lloc data entre 1018 i 1023 quan Guifre, comte de Cerdanya, jurà fidelitat a la comtessa Ermessendis per la “villa quam dicunt Ullastredo cum suis terminis”.
La primera referència del “Castrum de Oleastreto” data del 1225, on el bisbe de Girona el demanava al comte d’Empúries, com a garantia de conveni.
L’any 1280, Sibil•la, vídua del comte d’Empúries Hug V, traspassà els drets de diversos llocs, entre ells Ullastret a l’Església de Girona.
L’ANY 1309, aquest castell es trobava dins el lot de fermança del matrimoni entre el comte Malgaulí d’Empúries i la princesa Isabel de Sicília.
L’any 1385, el rei Pere “el Cerimoniós” va prendre aquest castell per la força a Joan I, comte d’Empúries.
En el segle XV aquest castell tingué diversos propietaris, els Santfeliu, els Margarit i els Senesterra.
L’any 1464, el rei Pere “el conestable de Portugal” encomanà aquest castell al capità portuguès Joao de Moraes.
L’any 1469, el duc de Lorena ordenà que li fos restituït aquest castell a Bernat de Senesterra.
