La primera referència d’aquest castell data entre 1050 i 1076, on Ponç, vescomte i fill d’Ermessendis, prestà jurament de fidelitat a Ramon Berenguer I, comte de Barcelona, per diversos castells, entre ells el “castro de Argemundo”.
L’any 1106, Guerau Ponç II, vescomte de Girona, signà una convinença per aquest castell entre altres amb Ramon Berenguer III, comte de Barcelona.
L’any 1111 n’era propietari Xetmar.
Vers l’any 1190 hi hagué brega entre el vescomte Ponç III de Cabrera i el rei Alfons “el Cast”; quatre anys més tard, el monarca restituí a Ponç diversos castells, entre ells el d’Argimon.
L’any 1196, Ponç III i Pere Ramon de Vilademany signaren una convinença, on aquesta família tenia encomanada la castlania.
L’any 1367, l’infant Joan, féu assetjar aquest castell i el de Castelló d’en Bas, en aquell moment el posseïa Bernat de Vilademuls, que el tenia pel comte d’Osona i vescomte de Cabrera.
Al segle XVIII aquest castell pertanyia a la família Farners.
