Enderrocat.
La primera referència data de l’any 907, posteriorment , l’any 922 surt mencionada la parròquia del “castro Serras”, quan Nantigís, bisbe d’Urgell, consagrà l’església de Sant Pau de Casserres, situada dins d’aquest castell, per disposició del comte Miró “el Jove”.
L’any 1094, el comte Guillem Ramon de Cerdanya llegà al seu fill, Bernat de Berguedà, una sèrie de castells, entre ells el de Casserres.
Entre els anys 1095 i 1109, Dalmau Bernat, vescomte de Berguedà i fill de Letgarda, prestà jurament a Guillem Ramon, comte de Cerdanya, pel castell de Madrona, Casserres i Montfalcó; posteriorment, això es tornà a repetir davant de Bernat de Cerdanya, fill de Guillem, i l’any 1131 es repetí davant Ramon Berenguer III, comte de Barcelona.
L’any 1135, Guillem de Berguedà, jurà fidelitat pels mateixos castells a Ramon Berenguer IV, comte de Barcelona.
L’any 1183, Guillem llegà aquest castell junt amb altres possessions del Berguedà al seu fill Guillem “el Trobador”; quatre anys més tard, aquest darrer va fer testament, cedint-li aquest castell al seu germà Berenguer que el té en feu pel rei d’Aragó.
Després de la conquesta de Mallorca, el rei cedí en feu la vila de Casserres al senyor de Berga.
En el fogatjament de 1365-1370 comptava amb 26 focs reials i 4 de ciutadans.
Al segle XV pertanyia a la família Tord.
Al segle XVII, Casserres pertanyia a la vegueria de Manresa i a la sotsvegueria de Berga.
Durant la primera guerra carlina, el comte d’Espanya va establir el seu quarter general en aquesta localitat.