Il palazzo si trova sul sito della Fortezza Augustana, residenza del condottiero Castruccio Castracani, dov'era anche il suo palazzo, forse progettato da Giotto. Il grande complesso, che occupava circa un quinto della città, fu distrutto dalla popolazione nel 1370. La fortezza fu restaurata e utilizzata come residenza da Paolo Guinigi nel 1401; dopo la sua caduta nel 1429 fu nuovamente smantellato e in seguito divenne il Palazzo Pubblico.