Il castello è stato costruito nel XI secolo dai Conti d’Altavilla prima famiglia feudataria di Saponara. Fu per volere del conte Roberto che si iniziarono i lavori sulla parte alta del borgo e sempre per sua volontà si costruì anche la cinta muraria. Negli anni il castello venne ampliato molte volte e fu con il principe Carlo Maria Sanseverino che fu ricostruito il salone di corte, la parte ancora oggi integra. In principio era suddiviso in dodici camere tra le quali vi era anche un teatro. Ci sono notizie anche sulla grandezza delle scuderie del castello che avrebbero dovuto contenere bene centoventidue cavalli. Vicino le scuderie c’è ancora un cortile da cui è visibile una cisterna.