La primera referència d’aquest castell data de l’any 1106, quan el vescomte Guerau Ponç jurà fidelitat al comte Ramon Berenguer III per diversos castells, “exceptis castris de Barres et de Brivola et Torcafelon”.
L’any 1116, el vescomte Guerau Ponç empenyorà aquest castell per 400 morabatins a Pere Ramon de Vilademany.
A finals del segle XII, els Vilademany tenien com a feudataris o castlans segons, els Balenyà.
L’any 1279, Ramon de Cabrera i la seva muller Alamanda, vengueren aquest castell a Berenguer de Gornal per 22.000 sous barcelonesos, encara que aquesta operació sembla ser més una operació de préstec ja que tres anys més tard, el va tornar a vendre per 37.000 sous barcelonesos de tern, aquesta vegada el comprador era Guillem Gaufred, clergue de la Seu de Girona.
L’any 1289, Bernat de Vilademany prestà homenatge de fidelitat a Guillem Gaufred per aquest castell.
L’any 1292, el senyor d’aquest castell el llegà a l’Almoina del Pa, de la Seu.
En el fogatjament de 1365-1370 comptava amb 125 focs i pertanyia al “preborde de la Elmoyna”.
L’any 1381, l’infant Joan vengué al paborde de l’Almoina del Pa els mer i mixt imperis d’aquest castell per 16.000 sous barcelonesos de tern, amb dret de retrovenda.
Al segle XV, les relacions entre el paborde com a senyor del castell i els Vilademany com a castlans no eren gaire bones.
L’any 1427 un terratrèmol danyà aquest castell i es tingué que reparar.
Durant la guerra civil de 1462, aquest castell fou ocupat pels partidaris del rei Joan II.
L’any 1494, la universitat del castell comptava amb 54 focs.
L’any 1505, l’Almoina del Pa i els Sarriera, senyors d’Anglès, delimitaren els termes de Brunyola i d’Anglès.
L’any 1550, el lloctinent de batlle general de Catalunya prengué possessió en nom del rei, de la jurisdicció dels mer i mixt imperis del castell i la baronia de Brunyola.
Al segle XVII, el domini de Brunyola era “de la pabordia de la Seu de Girona”.
L’any 1834, l’Hospici vengué aquest castell a Il•luminat Font.
Actualment fa funció d’ajuntament.
