La fortezza è stata costruita nel punto più alto della città nel 1361, ha struttura pentagonale ed è stata progettata dagli architetti senesi, Mino Foresi e Domenico di Feo. La fortezza incorpora alcune delle preesistenti strutture tra cui il mastio di Santo Martini, la torre di San Giovanni e un'antica basilica, che ora serve come cappella del castello.