E’ certamente l’edificio più antico che all’origine doveva costituire più che una struttura militare un presidio del territorio per funzioni civili, sociali ed economico-produttive e successivamente divenne anche dimora dei feudatari succedutisi nella proprietà tra i quali i Sanseverino, i D’Erario, gli Antinori, i Battaglia ed infine i Fittipaldi che lo donarono al Comune all’inizio del 1900. Al di la delle solite incerte ipotesi circa la nostra antica storia il Castello si fa risalire, dalla bibliografia prevalente, a un periodo coevo all’insediamento normanno nell’Italia meridionale; infatti la presenza del Castello e della relativa comunità è già documentata dall’Atto di Federico II di Svevia circa la manutenzione dei Castelli Regi eretti dai normanni. Dagli Statuta Officiorum emanati da Federico II, sappiamo pertanto, che il castrum Brundesii de Montana rientrava in quell'elenco di ventinove castelli demaniali (opere militari e di difesa) e domus imperialibus solaciis (destinate ai soggiorni di svago del sovrano), facenti parte del Giustizierato della Basilicata alla cui manutenzione dovevano provvedere, in maniera sistematica, gli abitanti delle Università vicine.

Per il Castrum di Brundisii de Montana è stabilito che tale compito spettasse anche agli uomini di Trivigno, Pietrapertosa, Trisocii (o Trifoggio, antica località nei pressi di Castelmezzano e Pietrapertosa), Castelmezzano, Castel Selecti (o Castel Bellotto tra Pietrapertosa e Laurenzana), Campomaggiore, Trivigno, Laurieseli (o Laurosielo, casale scomparso presso Cancellara), Accettura, Rodie (o Rodio nei pressi di Accettura), Gallipoli Cognato, Garaguso e Oliveto.

Dopo la caduta degli Svevi Il Re Carlo d’Angiò, per i servigi resi, investì Guidone de Forest nel 1268 del feudo di Brindisi col titolo di primus dominus Brundusii de Montanea et Ansiae (1268). La recente ristrutturazione vuole ridare vita all’antico manufatto simbolo della nostra storia che Andrea Pisani cosi descriveva nel suo libro: “Ora ha le occhiaie vuote nel gran teschio, l’occipite corroso e in qualche parte infranto; lo direi tragicamente muto e tetro, se nei pleniluni lo squittire petulante della civetta e il lamentevole fischio dell’assiolo non avessero per i suoi fantasmi un richiamo tra il grottesco e il beffardo”.