Der Uhrenpalast, von der Familie Orsetti in den Jahren des Wechsels vom 17. in das 18. Jahrhundert gebaut, beherbergte einst Stallungen, Küchen und Diensträume. Sein Name ist auf die in der Höhe angebrachte Uhr mit Sechs-Stunden-Zifferblatt zurückzuführen, welche für die toskanischen Villen der Zeit typisch war.
Der Vergleich mit den historischen Bauplänen zeigt, dass der von Elisa Baciocchi beauftragte Architekt Giuseppe Marchelli während ihrer Herrschaft keine großen baulichen Veränderungen am Palast vornehmen ließ. Es wurde einzig ein neue Struktur hinzugefügt, welche das ursprüngliche Gebäude umschließt.
Die Restaurierung des Uhrenpalats wurde 2016 von den aktuellen Besitzern in Auftrag gegeben. Das Gebäude dehnt sich in der Breite aus, die Hauptfassade ist mit einem Portikus und einer darüber liegenden Panoramaloggia ausgestattet. Die antike Villa und der Uhrenpalast sind durch einen noch heute existierenden unterirdischen Gang verbunden.