Desaparegut.
L’any 920, els habitants de “Baiene” donaren a Ramon I, fill del comte Llop, tots els alous que posseïen a la vila.
En el segle XI aquest castell pertanyia al monestir de Gerri.
Entre 1060 i el 1075, Roger Bernat i l’arxilevita Bernat Guillem signaren una convinença sobre terres i drets feudals dels castells de Peramea, Baén i Bresca.
L’any 1075, Artau I vengué aquest castell a Roger Arnau i Guillem Ramon, que el tenien en feu.
Hi hagué un judici entre Roger Arnau i l’abat de Gerri per aquest castell, ja que sembla que Artau I el vengué fraudulentament ja que l’havia pres al monestir. L’any 1087, Roger Arnau restituí el castell a l’abat, el qual tot seguit l’hi infeudà.
L’any 1149, Alegret de Baén va rebre la batllia de Baén, i l’any 1156 la castlania, de mans de l’abat Ponç de Gerri.
L’any 1164, el papa Alexandre III en una butlla papal confirmà aquest castell al monestir de Gerri.
L’any 1368, la jurisdicció de Baén fou compartida en règim de condomini entre l’abat de Gerri i el comte de Pallars.
L’any 1425, l’abat vengué la quarta part del mer i mixt imperi i de la jurisdicció civil i criminal del lloc de Baén, al comte de Foix i vescomte de Castellbò.