Ruïnes.
La primera referència d’aquest castell data de l’any 1090, quan “Berenguer de Aivio” signà un conveni entre el comte Bernat II de Besalú i “Guillelmus Ugonis”.
El primer senyor que es coneix es Ramon d’Avinyó, a qui Ermessendis, vescomtessa de Bas, nomenà executor testamentari, ben entrat el segle XII.
L’any 1128, els castells d’Avinyonet, Llers i Navata sofriren l’escomesa de Ponç Hug I, comte d’Empúries, però aquest darrer caigué presoner l’agost del mateix any al castell de Quermançó per Ramon Berenguer III, comte de Barcelona. El 17 del mateix mes i any, signaren un conveni on el comte emporità tingué que acceptar les condicions del guanyador.
L’any 1234, Ferrer Portell i la seva muller Escalona, al no tenir descendència, donaren aquest castell a l’orde de la Mercè, fundada setze anys abans. Més tard passà a l’orde de l’Hospital.
L’any 1298, el castellà d’Amposta comprà al monarca, el mer imperi d’Avinyonet.
L’any 1395, el rei Joan I vengué uns drets sobre Avinyonet a Berenguer de Cortielles, més tard tornaren a la corona.
L’any 1471 n’era senyor Ramon de Sagarriga.
L’any 1641 n’era senyor Josep de Rocaberti.
L’any 1699, Avinyonet pertanyia a la corona i a la batllia de Figueres.
El darrer senyor que es coneix és Francesc de Pau i Rocaberti al segle XVIII.