La costruzione di questi massicci torrioni ebbe inizio nei primi anni del ‘500 ad opera del Conte di Matera Gian Carlo Tramontano, nato a S. Anastasia. Di stile aragonese, fu ideato con lo scopo di difendere la città lungo il lato più esposto, ma è rimasto incompiuto per l’uccisione del Conte, avvenuta durante una violenta sommossa popolare il 29 dicembre 1514. L’altissimo costo dell’opera, pari ad oltre 25 mila ducati e la bassissima paga di 6 soldi al giorno, contribuirono ad inasprire gli animi dei materani, che misero fine ai soprusi in una delle pagine più violente della storia cittadina. La morale di questo episodio si può leggere nel motto sullo stemma cittadino, che recita “Bos lassus firmius figit pedem”, letteralmente “il bue stanco affonda la zampa più fermamente” a significare la carica di violenza che può manifestarsi in un popolo pacifico, ma stanco di vessazioni.