Les referències que tenim d’aquest castell són minses.
La llegenda que més s’ha estes i la més acceptada és que l’any 1071, la comtessa Almodis fou assassinada pel seu fillastre Pere Ramon.
L’any 1122, després de penedir-se de totes les seves malifetes, cedí la batllia de Mollet i el seu castell a sant Oleguer, bisbe de Barcelona, amb la condició que al lloc on hi havia aquest, hi fessin una església.
Segons les “Gesta”, Pere Ramon després de l’assassinat, fugí i morí al cap de poc temps en terra de sarraïns, passant els seus béns a l’església, aquesta construiria l’església de Sant Vicenç.
