Le village de Chemilly, Chemili acum en latin, est situé le long de la Saône, au confluent de la rivière du Durgeon dont le cours est sinueux et les débordements fréquents. Les paysages de prairie se transforment alors en de vastes nappes d'eau. Le village de Chemilly ne possède pas d'église ni de cimetière, il dépend du village de Pontcey pour ses fonctions paroissiales. A l'entrée du village, sur un terrain nommé "La Côte", à proximité du pont bâti sur le Durgeon, se trouve le château situé sur une terrasse, bordé d'un mur en parapet. C'est un ensemble complexe et éclaté en différents éléments. On distingue une cour haute, occupée par le donjon médiéval, partie la plus ancienne de l'ensemble et une cour basse où se trouvent les dépendances du château, ferme, écurie et caves. Depuis le XIVe siècle jusqu'à la Révolution, l'histoire du village se confond avec celle du château, plutôt mouvementée. Côté Nord, la Saône s'écoule en contrebas du château et il est bordé à l'Est par le Durgeon. A l'ouest du château, en s'éloignant du village, existe un ensemble conventuel fondé au XVIIe siècle (1627), dédié aux ermites de l'ordre de Saint-Antoine puis à une colonie religieuse de l'ordre de Saint-François. Il semble que les relations entre le couvent et le château ont toujours été houleuses, en raison du lien de dépendance économique qui attache le couvent aux seigneurs successifs du château.

A l'Est du village, longeant un méandre du Durgeon, se trouve un moulin banal dont l'existence est attestée depuis le XVIIe siècle. Il participe à l'économie du village. Les habitants étaient obligés de moudre leur grain dans ce moulin sous peine d’amende. Le meunier a le droit d’en prélever un pourcentage. Les Ployer sont propriétaires du moulin au XVIIIe siècle. Gabriel Ployer, son fils Jean-Pierre en 1750, puis Claude Ployer s'occupent du moulin seigneurial. Les affaires sont prospères. En 1783-87, un conflit oppose Claude Ployer aux religieux du couvent, concernant l’acensement qui obligent ces derniers à faire moudre leur grain au moulin. En effet, le meunier de Pontcey, Jean-Claude Dumont, venait chercher les sacs de grains des religieux pour les moudre ds son moulin. Claude Ployer l’assigne à s’abstenir d’enfreindre la banalité du moulin de Chemilly. En 1867 un propriétaire terrien se plaint de la négligence des meuniers et évoque les dommages causés par l'état des retenues d'eaux des moulins de Pontcey et de Chemilly. Ses prés sont inondés depuis des mois car les vannes du déversoir du moulin ne sont pas ouvertes en temps voulu. Dans les années 1910, l'ancien moulin devient une usine de production électrique. Les propriétaires, la famille De Trevillers, fondent par la suite une menuiserie sur place en 1955. Les De Trevillers sont encore aujourd'hui propriétaires du siège social de l'entreprise d'emballage et de cartonnage, localisée au même emplacement, à la sortie du village, en direction de Port-sur-Saône.

Vue de la Grande rue, le château, une ferme et l'huilerie Le cadastre napoléonien de 1837 montre que le village est situé dans la courbe créée par la rencontre entre la Saône et le Durgeon. Le village-rue est au sud du château, les maisons les plus anciennes sont massées par binôme de part et d'autre de la rue principale, la Grande Rue ou chemin vicinal. La mairie école, aménagée en 1851 à l'intérieur de la maison communale, est située sur un îlot central au cœur du village. Une importante ferme, située à l'Est du village, jouit d'une position privilégiée, face au Durgeon, elle dispose côté Est d'un accès direct aux pâturages lui appartenant. Assez traditionnellement, le cadastre témoigne de l'existence de vastes parcelles aérées autour du château et du couvent. Les vignes du château sont mentionnées sur le cadastre et occupe un vaste espace au Sud de l'ensemble conventuel. Quant au village, on note de petites parcelles laniérées au Sud-Est de la commune, typique d'un habitat et de cultures agricoles plus modestes.

Le plan d'alignement des rues daté de 1841 signale l'existence de trois puits dans la commune. Le puits communal est situé à l'angle de la rue du Couvent et de la rue du Croterot, à côté d'un tilleul représenté sur le plan. Un autre puits se trouvait rue de la Barque et un troisième se trouve à la sortie du village, dans la rue allant en direction de Ponctey, au Sud.

Plan du puits à reconstruire, 1851 L'un des éléments essentiels qui façonne l'histoire de Chemilly est la relation que la commune entretient avec l'eau. Situé dans un méandre de la Saône, au confluent de la rivière et d'un cours d'eau plus réduit, le Durgeon, Chemilly se distingue en effet par sa volonté de lutter contre les mouvements naturels de ces cours d'eau, notamment les débordements fréquents et les inondations qui en découlent. La nécessité de maîtriser l'eau, omniprésente dans la région, se manifeste par la construction d'ouvrages tels que des ponts et barrages, qui facilitent les déplacements des habitants et permettent l’irrigation contrôlée des prairies cultivées. L'acheminement de l'eau potable pour la vie courante est une autre préoccupation qui s'exprime par l'édification de puits et fontaines. Un canal traverse ainsi le village, longe la Grande Rue et passe par la rue du Couvent. Ainsi, le pont sur le Durgeon est bâti en 1752, à l'initiative du seigneur du château. Un plan daté du 26 octobre 1814 présente le projet d'un canal de navigation à ouvrir entre Vesoul et l'embouchure du Durgeon, dans la Saône. En 1844, une rigole pavée aménagée dès 1841, est prolongée dans l'axe Nord de la rue principale. Le pont fait l'objet de travaux de réparation en 1831 - 1832. De plus, en 1832 l'établissement d'un ponceau est décidé sur un bras du Durgeon, qui crée un canal de décharge pour le déversoir du moulin et qui autorise le défrichement de la prairie "Les Grands Angles". En 1851 deux projets sont liés: la construction d'une maison d'école-mairie (rénovée en 1890 et 1926) au sein de la maison communale et d'un puits (puits à la jonction de trois rues, en face de la cour de Monsieur Coste). Ce puits communal est réparé en 1862 puis reconstruit en 1869 (15 mètres de profondeur, 2 mètres de diamètre, une auge en pierre de 3 mètres 50). A cette date-là, le pont fait également l'objet d'un repavage. En 1891, des travaux d'adduction d'eau sont programmés. Il s'agit d'une conduite d'assainissement d'eau dans la traverse du village, à côté de la maison commune, à l'emplacement d'une source. Enfin, en 1921, de nouveaux travaux de captage et d'adduction d'eau sont réalisés dans la commune. Les archives évoquent la construction d'un lavoir à cette époque.

Dans le seconde moitié du XIXe siècle, l'apparence du village se modifie en raison des réaménagements causés par l'approbation du plan d'alignement des rues de 1847, qui vise à rationaliser l'organisation et le plan du village. En 1868, une enquête d'utilité publique est menée à ce sujet, notamment sur l'impact des travaux sur la Grande rue, le chemin vicinal. Dans les années 1870, de nombreuses portions de parcelles (jardins...) donnant sur la Grande rue sont revendues à la commune par les propriétaires, tandis que de multiples demandes d'autorisation émanent de particuliers afin d'obtenir un traitement au cas par cas favorable à leur propriété et à leurs intérêts personnels.