Desaparegut.
La primera referència d’aquest castell data de l’any 974, en la donació d’unes terres en el terme del “castrum Avingone” al monestir de Sant Benet de Bages.
L’any 1107, Guillem Ramon, casat amb Guilla, filla d’Ermessendis, vescomtessa de Cardona, llegà al seu fill menor Bertran, el castell de Súria i diverses parròquies, entre elles la d’Avinyó.
L’any 1221, Berenguer de Queralt, casat amb Sança d’Anglesola, prestà jurament de fidelitat per diversos castells, entre ells el “Avignon” al comte Ramon Berenguer III, comte de Barcelona.
Al segle XII, la parròquia d’”Anvinino” comptava amb 8 clergues.
L’any 1165, Berenguer de Queralt llegà aquest castell i altres a la seva filla Sibil•la. En aquesta època la senyoria superior residia en els Queralt i l’inferior en els Avinyó.
L’any 1198, Guillem d’Avinyó i la seva muller Arsendis, llegaren aquest castell a llur fill Bertran, un dels que signaren aquest document era Berenguer de Queralt, senyor d’aquest indret.
A partir del 1219, aquest indret va pertànyer a Sant Pere de la Portella, més tard passà a la jurisdicció reial.
L’any 1247 hi hagué un plet entre Berenguer de Queralt, senyor d’aquest indret i Elissendis de Calders, que el tenia en feu pels Queralt, degut a que els castlans d’Avinyó no reconeixien a Berenguer la potestat del lloc.
El domini dels Queralt devia finar abans de 1275, quan va extingir-se la família.
En el fogatjament de 1358 comptava amb 25 focs i pertanyia a Ramon de Cardona; en el de 1365-1370, 38 focs i pertanyia a Berenguer de Cardona, cavaller.
L’any 1395, el rei Joan I vengué el domini d’aquest castell a Berenguer de Cortielles.
L’any 1409, el comprà Joan de Rocaberti de Pau i d Bellera, comte de Peralada.
L’any 1534, el virrei de Catalunya donà aquest castell a Antoni de Rocaberti i de Pau.
Al segle XVII pertanyia a Francesc de Pau i Rocaberti, es trobava dins la vegueria de Manresa.
L’any 1721, Maria de Rocaberti, senyora d’Avinyó, es casà amb Joan Gilabert de Cruïlles Sitjar Oms i de Sarriera. Els succeí llur fill Francesc, que finà sense descendència. El va succeir Narcís de Sarriera i de Cruïlles, comte de Solterra.
Al segle XVIII passà als Castellbell, posteriorment, el 1803 fou venut als Verdaguer.