Si presume che il castello di Larino sia stato edificato nel periodo che va dal XII al XIV secolo su una precedente fortificazione di origine preromana. Le fonti ci dicono addirittura che il Papa Innocenzo III fece del castello una prigione per i banditi. 
Tra il XIVe XV la fortezza venne ampliata, ma fu nel XIX secolo che cambiò totalmente la sua conformazione sotto l'ingegner Vetta.
Nel 1888 fu costruita un'altra facciata, orientata su piazza Vittorio Emanuele che ancora oggi risulta incompleta e con qualche inperfezione.
Il palazzo ha la forma quadrata con una torre angolare collocata a nord-est, ed è accessibile dall'ingressso principale preceduto da due gradini in pietra. Dopo aver attraversato la porta, si percorre una lunga scalinata che conduce ad un atrio-porticato che a sua volta sostiene un loggiato scandito da ampi archi a tutto sesto.
L'androne del palazzo presenta sulla sinistra un'edicola funeraria romana con due busti, uno maschile e l'altro femminile, che raffigurano C. Gavio Scipione e sua moglie Optata.
Il palazzo ha un pianterreno, un piano intermedio, un primo piano e un secondo piano accessibile grazie al loggiato. Attualmente il Palazzo Ducale ospita il Municipio, il Museo Civico e la Biblioteca Comunale "Bartolomeo Preziosi".
All’interno della struttura sono tenuti in serbo tre mosaici policromi, rinvenuti nei pressi dell'anfiteatro. Uno dei mosaici raffigura una Lupa che allatta sotto una rupe i due fratellini Romolo e Remo; due pastori dalla sommita’ di una rupe contemplano la scena.
Su una ricca cornice vi sono rappresentati dei cacciatori circondati da animali selvatici. Questo mosaico risale al III secolo d.C. .