L'abbaye date pour l'essentiel du premier tiers du 18e siècle. Elle est la lointaine descendante d'un couvent de religieuses fondé au 8e siècle par Gude, soeur de Widrade, riche propriétaire bourguignon. Les religieuses observent la règle de saint Benoît. A sa mort survenue en 780, Gude est inhumée dans l'église abbatiale placée sous le vocable de Notre-Dame. Au 12e siècle, l'établissement en pleine décadence est donné par l'archevêque de Besançon, Anséric, à l’abbaye bénédictine de La Chaise-Dieu, dont il dépendra jusqu’en 1515. Dans les années 1620, des travaux importants sont réalisés dans l’église et les bâtiments claustraux sont reconstruits. En témoignent une dalle portant une inscription latine avec la date 1623 et le décor architectural des portes sous le porche de l’église.

A la suite des dégâts provoqués par le tremblement de terre de 1682, le quartier abbatial est reconstruit et agrandi au sud de l’église. Ces travaux ont été réalisés principalement sous l’abbatiat de Théodore Gourret du Clos, entre 1683 et 1733. Les plans des nouveaux bâtiments sont attribués à dom Vincent Duchesne. L'agrandissement du terrain disponible, par achats et par échanges, entraine l’intégration d’anciennes rues, comme celle des Moines au sud, et l’extension au-delà de l’enceinte urbaine, qu’il a fallu déplacer. Ces opérations immobilières sont réalisées entre 1672 et 1713, et un nouveau mur de clôture est alors construit, qui ne sera agrandi qu’à la veille de la Révolution, vers l’ouest de la cour d’entrée et l’ancienne rue Vannoise. Antoine Malbert est un des acteurs connus du chantier. De 1713 à 1733 sont édifiés trois corps de bâtiments rectangulaires au sud de l'église médiévale. En 1713, les travaux commencent par la grande aile sud, qui mesure plus de cent mètres de long (en trois endroits se lisent des sentences latines avec le millésime 1714). Puis ils se poursuivent avec l’aile est, dont la première pierre est bénie en septembre 1723, et l’aile ouest dix ans plus tard environ. En 1734, à la mort de l’abbé Gourret du Clos, l’ensemble du gros œuvre est achevé. Par la suite, les comptes de l’abbaye conservés montrent que des travaux sont réalisés régulièrement, tant à l’intérieur qu’à l’extérieur, jusqu’à la veille de la Révolution. Dans les premiers mois de 1789 sont encore enregistrées des dépenses importantes pour de nouveaux bâtiments, sans doute ceux qui flanquent la cour d’entrée à l’ouest. La bibliothèque a été aménagée à partir de 1782 et plusieurs dizaines de milliers de livres ont été dépensées pour acquérir des ouvrages de diverses provenances.

A la Révolution, vingt-deux moines bénédictins vivent à l'abbaye. Déclaré bien national, le couvent est vidé de son mobilier, de l’essentiel de ses décors et de ses livres. Après expertise, une partie de ces éléments est vendue en mai 1791. Les bâtiments du quartier abbatial sont alors achetés par la commune de Faverney. Les bâtiments conventuels et le parc sont tout d'abord utilisés comme succursale de la prison de Vesoul, en novembre 1793, puis sont transformés en hôpital militaire. L’ensemble est ensuite divisé en lots et vendu à des particuliers en l’an VI (1797-1798). Le cadastre ancien, établi en 1836, présente un parcellaire qui témoigne de destructions importantes. L’escalier ouest et l’emplacement de la galerie sud du cloitre détruite sont devenus des passages communs aux copropriétaires, par exemple. Un ensemble de dessins réalisés vers 1898 par Albert Petignat, élève de Gérome, et des photographies permettent de mesurer l’ampleur des dégradations : une partie de l’étage du grand corps de bâtiment sud a disparu et la galerie est du cloitre, qui subsiste, est murée.

Entre 1896 et 1908, l’ensemble du couvent (bâtiments et parc) est progressivement racheté par Marie Garret, qui en entreprend la restauration. Dans un premier temps, les bâtiments sont mis à la disposition des dominicaines de Châtillon-sous-Bagneux (Hauts-de-Seine) pour y créer un orphelinat. Par la suite, après la tenue en 1908 du congrès eucharistique célébrant le bicentenaire du "miracle des Saintes Hosties", Marie Garret offre l’ancienne abbaye au diocèse, qui y installe en 1911 le nouveau séminaire de philosophie. Cette affectation, qui a duré jusqu’en 1967, a entraîné quelques transformations et modernisations. Fermés en 1967, les bâtiments sont restés déserts jusqu'à leur rachat par plusieurs propriétaires privés.