Le château de Chemilly faisait partie du système défensif longeant la vallée supérieure de la Saône dès le haut Moyen-Age. Il est situé sur un terrain appelé la Côte, à proximité du pont, au confluent de la Saône et du Durgeon. L’ensemble se compose de deux parties bien visibles sur le cadastre napoléonien. Une cour basse, fortifiée, située le long de la rivière, caractérisée par un ensemble de bâtiments, les anciennes écuries notamment, munies d’une échauguette (XIVe ou XVe siècle). Dans une deuxième zone, en partie haute, se trouve une grosse tour carré (XIIe ?), l'élément le plus ancien de l'ensemble. Cette tour a été remaniée au XIXe et transformée en habitation. L'ensemble du bâti médiéval a été remanié à partir du XVIe siècle, au XVIIIe et XIXe siècles et en partie détruit à la Révolution. Le château et son jardin, depuis la cour haute

Le château a été construit à une date inconnue mais son existence est avérée au XVe siècle. Au XIVe siècle la famille d'Ulric de Scye possède la seigneurie de Chemilly. Vient ensuite la lignée des comtes de Neuchâtel, fidèles à la maison de Bourgogne. Jean de Neuchâtel Montaigu, vassal de Philippe le Hardi, duc de Bourgogne, puis de Jean sans Peur, est le seigneur du château de Chemilly. Ses successeurs sont Thiébault et Charles de Neuchâtel. De 1437 à 1440, malgré le traité de paix d’Arras sous Philippe le Bon, des bandes de mercenaires, appelés Ecorcheurs ou Retondeurs, attaquent la région dans les environs de Vesoul. Dès la fin du XVe le château des Neuchâtel excite les convoitises. Charles d’Amboise s’en empare en 1480. Durant cette période troublée, les habitants de Chemilly bénéficient du droit de retraite et se réfugient dans le château en cas de danger. Avec Henri de Neuchâtel, puis Ferdinand, s’éteint la lignée des Neuchâtel en 1521.

A la famille d'Andelot revient la seigneurie de Chemilly au XVIe siècle. Gaspard d’Andelot, baron de Chemilly, occupe de hautes fonctions militaires au service du roi des Pays-Bas, pays où il réside le plus souvent. A sa mort en 1579, Louise d’Andelot et Alexandre, baron de Vilts, deviennent seigneurs de Chemilly. Ils sont les fondateurs de l'ermitage consacré à Chemilly en 1618. L'église et le cloître sont achevés en 1619. Une inscription gravée encore visible dans la chapelle du couvent témoigne de cette fondation le 2 juin 1619. Les ermites suivent la Règle de Saint-Antoine. Le 2 décembre 1627, l'ermitage fut cédé avec ses dotations aux frères du Tiers-Ordre de Saint-François de l'Etroite Observance, appelés les Tiercelins. Les relations entre les religieux et la seigneurie de Chemilly furent généralement houleuses. Après la mort de Louise d’Andelot, Alexandre se remarie avec Barbe-Françoise d’Andelot. Son fils Claude-Ferdinand de Vilts devient seigneur de Chemilly en 1641.

Son successeur est Théodore de Custine, seigneur de Chemilly, à la fin du XVIIe siècle. En 1734 le château mis en vente. Le Comte Charles de Rosen est l'acheteur. Il a trois roses pour armoiries et entre en conflit ouvert avec le couvent. Vers 1750, le château est acquis par une autre famille : Les Damédor. C’est à François-Madeleine Damédor, comte de Mollans, que l’on doit la construction du pont en pierre sur le Durgeon, dont l'une des margelles est ornée d’une statue en pierre datée de 1752.

L'échauguette de l'ancienne écurie La zone de la basse cour est bien délimitée par ses murs, visibles sur le cadastre napoléonien. Les deux tours carrées médiévales et une petite échauguette cylindrique, en encorbellement à l'angle Nord de l'ancienne écurie du château, toutes trois munies de meurtrières, sont bien représentées sur le même cadastre daté de 1837. Les écuries, aujourd'hui transformées en habitation, ont été largement remaniées au XVIIIe siècle, ce dont témoignent des éléments rapportés tels que des linteaux datés de 1760 et de 1779. Des ouvertures en plein cintre desservaient un espace de stockage et de grangage. Les fenêtres ont elles-aussi été refaites au XVIIIe siècle. Du colza destiné à l'huilerie du village était stocké dans la grange au XXe siècle. A l’intérieur de la maison, le pavement, les larges dalles des escaliers et une cheminée proviennent du logis conventuel détruit et démembré vers 1975.

Le 4 août 1789, l'Assemblée Nationale décide de l'abolition des privilèges du clergé et de la noblesse. Le comte de Mollans fait partie des émigrés. Le château est fortement endommagé dans les années 1790.

Le toit-terrasse du donjon date de 1971-1972, au XIXe siècle existait un dôme métallique à sa place. Le reste du château a été largement remanié depuis le XVIe siècle. Deux tours ont été ajoutées au XVIIIe siècle à la partie Sud du château. Des caves traversent tout le bâtiment, du nord au sud.