A questa torre era attaccata la porta principale che attraversavano coloro che provenivano da Sannio.
Questa era caratterizzata anche da un fossato che ormai è andato perduto.
Con la scomparsa del fossato sono state tolte anche le feritoie conservate però all’interno della torre.
Alla torre del Mercato si poteva accedere o dalla stessa città oppure attraverso un ponte levatoio per coloro che provenivano dall'esterno.
Nel corso degli anni l'edificio ha subito delle modifiche durante le quali sono stati aggiunti dei portali. 
Si pensa che la torre fosse abitata dal Capitano del Popolo, però nel momento in cui Francesco Caracciolo, duca di Miranda, acquisì Venafro alla torre è stato dato il nome di Palazzo Caracciolo.