Il Castello e le fortificazioni risalgono al IX o X secolo e furono posti a difesa dell'abitato.
Delle quattro porte di accesso presenti lungo le Mura di cinta, uno degli accessi, denominato Porta del Ponte e posto nella parte orientale, aveva un ponte levatoio. Simbolo di Caggiano non solo dell’immaginifico ma anche del reale è infatti la costruzione architettonica che più si impone alla vista di chi si avvicina al paese. Era costituito in origine da un corpo centrale, una mole possente che comprendeva tre alte torri, un torrione e due fortini. Secondo un atto di donazione del 1092 il primo signore del paese, Guglielmo di Caggiano della famiglia di Roberto il Guiscardo, lo eresse nella parte più alta del paese per difendersi dagli attacchi dei Saraceni. Le sue mura fortificate rendevano l’accesso quasi impossibile.
Al castello il popolo adiva attraverso due porte d’ingresso orientali e due porte occidentali, più impervie e quindi più protette. Documenti ritrovati testimoniano come le porte fossero custodite nella notte da ronde armate. Una delle porte orientali era provvista di ponte levatoio con catene in ferro, ancora oggi la zona viene denominata figurativamente Bocca del Ponte.
Il paese inoltre era difeso per tre parti da altissimi strapiombi e ad est da un lago lacustre oggi del tutto prosciugato.
I contadini sul far della sera, al suono dell’Ave Maria, rientravano all’interno delle mura per uscirne solo la mattina seguente quando giungeva il Signore per dare le sue disposizioni.
La guardia avanzata dimorava nella Cappella di San Luca, a 50 metri dal corpo centrale, mentre la milizia era acquartierata nel castello dove trovavano posto anche le armerie, le officine e le scuderie.
Le prigioni e le sale delle torture erano situate a piano terra illuminate da piccole e alte fenditoie.
Nel castello erano pronte all’uso potenti macchine da guerra disposte sui bastioni o presso le porte con cui scagliare sassi contro i nemici impedendone l’assalto, armi in seguito sostituite da cannoni in bronzo collocati sui torrioni e sulle mura.
Dopo varie vicissitudini, il castello da fortezza fu ampliato progressivamente fino ad assurgere a residenza signorile nel XV secolo.Le Mura di cinta sono state interessate da un recente intervento di recupero e pertanto sono in buono stato di conservazione.
Il Castello è parzialmente di proprietà di privati e in parte sede di mostre, convegni e altre iniziative culturali.
