Il centro storico di Castelpetroso e' un chiaro esempio di borgo medioevale composto dal castello, dalla chiesa parrocchiale e dalle piazze che si snodano al suo interno. Un tempo per accedere al borgo si oltrepassavano tre porte: la porta del Parco, la porta Pipistrello e la porta Macchietelle.

Il castello veniva utilizzato come punto di osservazione militare dai Sanniti proprio per la sua posizione strategica; infatti si trova su una vera fortezza naturale. Dalla forma quadrata il castello si direbbe di origine normanna anche se fu edificato dai longobardi tra la fine del X secolo e gli inizi dell'XI. Oggi e' possibile osservare solo alcuni degli elementi della fortezza ancora intatti come ad esempio l'antica forma quadrata, il mastio e al piano terra ci sono ancora due stanzoni che non hanno subito alterazioni nel corso del tempo.