La primera referència documental d’aquest castell data de l’any 1116, on surt esmentat en el testament de Pere Ponç, llegà aquest i d’altres possessions al seu fill Arnau.
Hom pensa que aquest castell s’originà al segle XI dins el terme de la fortalesa de Talteüll.
L’any 1257 n’era senyor Galceran de Pinós.
L’any 1339, n’era senyor Pere II Galceran de Pinós que el tenia en feu pel comte d’Urgell.
L’any 1377, Pere III Galceran de Pinós va vendre el lloc de Palou junt amb d’altres a Arnau d’Erill.
L’any 1831 pertanyien a Felip de Buxons i N. Martí, es trobava en el corregiment de Cervera.
Actualment és un restaurant, s’anomena “can Cuadros”.
