La primera referència documental apareix l’any 1060, quan Guillem Gombau comprà un alou en el lloc anomenat la Pera, en l’escriptura posa les seves afrontacions, indicant que a ponent es troba el castell de Pax.
L’any 1177, Berenguer de Pax i la seva dona, Ermessendis, feren una donació al comanador de Sant Valentí, i set anys més tard en feren una altra.
L’any 1230, el rei Jaume “el Conqueridor” concedí protecció al castell de Pax.
L’any 1258, Ponç de Ribes feu hereu al seu nebot Berenguer de Ribes –fill de Berenguera i de Guillem de Pax–, dels castells de Ribes, la Geltrú, Miralpeix, Sitges, Banyeres i Pax.
L’any 1291, Guillem de Pax prestà homenatge al rei Alfons.
En el fogatjament de 1365-1370, hi havia 11 focs i n’era senyor Ramon de Barberà.
L’any 1492, es va realitzar una visita pastoral a l’església del castell de Pacs, on hi havia la imatge de sant Genís a l’altar major.
A començaments del segle XVII, n’era senyor en Martí Joan d’Espuny, també senyor de Penyafort.
