Première construction après 1285 pour Jean de Chalon, 1er seigneur d'Arlay ; un nouveau château fort, situé à l'emplacement actuel du couvent des carmes remplace l'ancien, qui se trouvait à l'emplacement actuel du champ de foire et qui, déjà mentionné au 11e siècle, avait disparu en 1363 ; plusieurs époques de construction après des incendies (1427, 1452) ; nombreuses réparations fin 16e siècle ; une demi lune fut construite en 1630 ; siège en 1637 ; château fort et ville démantelés en 1664 ; château fort détruit en 1668