D'après les travaux historiques, 1ère installation à Gray d'une maison de refuge dépendant de l'abbaye de prémontrés de Corneux, dans la 2e moitié du 14e siècle ; ce premier édifice détruit est remplacé dans la 2e moitié du 16e siècle par un autre, construit sous l'autorité de l'abbé Perchet dont les armes sont apposées sur la façade antérieure du corps de bâtiment gauche ; une inscription, sur la façade antérieure du corps de bâtiment droit, portant la date 1563, indique que ce refuge devait servir aux religieux en temps de guerre ; la porte de l'ancienne chapelle à droite de l'inscription porte la date 1569 ; dans le 3e quart du 18e siècle, transformation de l'édifice ; le corps de bâtiment contenant la chapelle est surélevé de deux étages, supprimant le clocher de celle-ci ; la date de 1775 relevée en 1929 par Camille Rochard, bibliothécaire de la ville, à un endroit indéterminé de l'édifice correspondrait à la fin de cette campagne de travaux ; l'hospice de Corneux était à cette époque louée par l'abbaye à un régiment de cavaliers de maréchaussée ; au 19e siècle, l'édifice devient une maison d'habitation : l'aile entre cour et jardin du corps de bâtiment droit est supprimée et l'édifice entier agrandi côté jardin après suppression de l'ancien canal du Dregeon