Il castello è certamente l’edificio più antico che all’origine doveva costituire più che una struttura militare un presidio del territorio per funzioni civili, sociali ed economico-produttive e successivamente divenne anche dimora di feudatari fino ai Fittipaldi che lo donarono al Comune all’inizio del 1900. Al di la delle solite incerte ipotesi il castello si fa risalire, dalla bibliografia prevalente, a un periodo coevo all’insediamento normanno nell’Italia meridionale; infatti la presenza del castello e della relativa comunità è già documentata dall’atto di Federico II di Svevia circa la manutenzione dei Castelli Regi eretti dai normanni. Dopo la caduta degli svevi il re Carlo d’Angiò, per i servigi resi, investì Guidone de Foresta nel 1268 del feudo di Brindisi col titolo di primus dominus Brundusii de Montanea et Ansiae (1268).
L'edificio è stato ristrutturato e restituito, finalmente, alla sua comunità nell'ottobre 2018.