Probabilmente di fondazione normanna, il Castello sorge in corrispondenza del circuito murario di Ruvo, di cui è elemento principale.
Oggi rimane una torre, risalente al X/XI sec., ed un atrio, al quale si può avere accesso attraverso l'Arco Melodia. Qui si possono notare le scale addossate alla torre e un arco a sesto acuto che costituiva uno degli ingressi.
La torre e l'arco erano inseriti in un sistema difensivo più ampio e complesso, costituito da mura e torri circolari e quadrangolari, alcune delle quali ancora esistenti: si vedano le torri aragonesi di Via Rosario e Via Fornarello e la torre quadrangolare di Via Parini.
La struttura della torre garantiva il controllo del territorio: infatti le piccole monofore a sud permettevano il controllo di Via Traiana, la bifora a sud e la trifora a nord permettevano il controllo della strada proveniente da Gravina e quella che collegava Ruvo al suo emporio marino, mentre le monofore e le logge ad est permettevano il controllo del centro storico.
Nel XIV sec., sotto la dominazione angioina, fu aggiunta ad ovest la torre di Pilato. Questa, di forma circolare, alta 30 metri e munita di un bastione poligonale, cedette nel 1881 dopo che venne abbattuto il suo bastione qualche anno prima.

Data ultimo aggiornamento: 31/05/2016