L' origine del palazzo risale alla seconda metà del XIII secolo, periodo in cui il Duca prese la decisione di edificarsi un castello nella località Castelluccio. Il luogo dove fu edificato si trovava nella parte più alta del territorio e quindi piu' idonea per una fortificazione. Nei dintorni del castello, contadini e pastori crearono le loro dimore denominate casali.
Successivamente il castello fu dotato di una cinta muraria all'interno della quale furono costruite tre porte: la porta Castello, la porta Levatura e la porta del Popolo.
Dopo poco tempo il castello fu trasformato in un palazzo ducale dal Duca di Canzano poichè lo ebbe in assegnazione dal 1741 al 1815. 
La struttura si erge su quattro livelli ed e' interamente in pietra locale. Il castello non ha le sembianze di una fortezza infatti e' privo di pareti a scarpa, di torrioni ed altri utili per le fortificazioni. Il portone di accesso al castello e' in legno di quercia, puntellato con chiodi di grandi dimensioni di produzione artigianale. Su di esso si trova lo stemma della famiglia Jovine.
All'interno si trova un ampio cortile sul quale affacciavano gli ambienti che un tempo venivano utilizzati come granai e stalle invece le stanze situate al piano superiore sono molto piu' spaziose e meglio rifinite basti pensare ai soffitti sostenuti da travi in legno e i pavimenti rivestiti in cotto.