Le château est appelé des trois seigneurs. Au XIIIème siècle il appartient à Arnaud de Saint-Félix, puis il passe au Claret jusqu’au XVIIème siècle. Une pierre encastrée dans un mur porte la date gravée de 1339. En 1792 il est au Marquis Dax ou Daxa puis aux Demarcais. Lors des guerres de religion en 1703 il fut brulé, tout comme le village, par les huguenots dirigés par Roland qui mit à profit l’absence du vicomte de Montpeyrou: la troupe passe alors le pont de Salindre et monte sur Saint-Félix, “les hameaux sont mis en feu et à sang” disent les textes, l’église est détruite. Très présents tout autour dans les montagnes les protestants organisaient des assemblées. Une de ces réunions au désert fut interrompue par les dragons du roi en 1691. Le château fut donc incendié plusieurs fois. En 1792 ce sont les villageois eux-même qui brûlent les édifices représentatifs sous couvert de la révolution. (Jean-Luc Eymery).
De nos jours le château a été restauré et aménagé en un lieu d’accueil touristique haut de gamme.