Au Moyen Âge, la ville est alimentée en eau par des sources dans la partie basse et des puits dans la partie haute provenant de la même nappe phréatique ; en 1554 au moment de la reconstruction des fortifications, le Dregeon, simple bras de la Saône, est canalisé pour fournir l'eau à la ville basse en cas de siège ; au 18e siècle les puits principaux sont au nombre de 4 complétés par 4 fontaines, celles de Saint-Laurent, des Tiercelines, de la Charité et de l'Hôtel de ville construite en 1751 ; cette fontaine était alimentée par la source des petits bois au sud de Gray et a nécessité la 1ère adduction d'eau de la ville ; entre 1836 et 1838 des travaux sont entrepris pour fournir aux habitants un volume d'eau plus important : un édifice du génie civil contenant une machine à vapeur destinée à monter l'eau d'un puits proche de la Saône dans la ville haute est construit ainsi qu'un château d'eau permettant de redistribuer l'eau dans des bornes fontaines ; le château d'eau sera augmenté d'un 2e réservoir en 1889 ; au début 3e quart 19e siècle, après les épidémies de choléra de 1849 et 1854 le conseil municipal décide d'alimenter la ville par les sources des hauts et petits bois uniquement ; trois fontaines : celles de Saint-Pierre Fourier, Romé de l'Isle et Devosge remplaçant celle de 1751, sont érigées dans la ville haute, la fontaine Saint-Laurent restant le principal point d'eau pour la ville basse ; l'alimentation en eau étant insuffisante, le puits de l'usine Millot quai Mavia sert à compléter les besoins de la ville ; entre 1924 et 1927, 2 nouveaux puits sont forés en amont du puits Millot et une usine élévatoire construite pour envoyer l'eau dans les réservoirs de la ville haute.