En 1618, Alexandre de Wiltz et sa femme Louise d'Andelot, seigneurs de Chemilly, fondèrent un ermitage près du château pour les ermites de l'ordre de Saint-Antoine. La chapelle dédiée à l'Assomption fut consacrée le 2 juin 1619. Une inscription gravée encore présente dans la chapelle témoigne de cette fondation.

Il existait un cloître, adjacent à l’église et un logis conventuel, composé de quatre chambres au rez-de-chaussée et quatre chambres à l’étage. Une muraille entourait les bâtiments et un terrain, "La Côte" fut consacré à l'ermitage par des particuliers. Dans le cloître se trouvaient des pommiers à reinettes. Aujourd'hui détruit ou remanié, l'ensemble était toujours visible en 1890, bien qu'en mauvais état.

Le 2 décembre 1627, l'ermitage fut cédé avec ses dotations aux frères du Tiers-Ordre de Saint-François de l'Etroite Observance, appelés les Tiercelins. Après autorisation de l'archevêque de Besançon et du Parlement de Dole, ils prirent possession du couvent le 27 septembre 1629. Ils n'étaient que deux, Hugues Briaucourt et Claude Hugot, et ne dépassèrent jamais la dizaine, leur dotation étant peu importante. Un traité de fondation stipule que les fondateurs, les seigneurs du château, s'étaient engagés à construire un bâtiment neuf dans les quatre ans et à donner chaque année aux religieux du bois de chauffe, 40 quartes de froment, 6 poinsons de vin et 26 francs d'argent. Le droit de pêche est également accordé pour la subsistance des moines. Dans le contrat de fondation, le mobilier liturgique concédé au couvent est énuméré. Il comprend un calice, une patène, un ciboire à soleil d’argent, cinq chasubles, cinq devants d’autel, six aubes, six corporaux et cinq voiles de calice. Il est prévu que les seigneurs de Chemilly reposent dans la crypte de la chapelle et que des messes perpétuelles soient célébrées en leur mémoire.

La fondation du couvent des Tiercelins nécessite quelques démarches afin d'assoir sa légitimité. Le 29 décembre 1628, l'infante d’Espagne Claire-Isabelle-Eugénie, souveraine de la Franche-Comté, écrit à l’archevêque Ferdinand de Rye et soutient la demande de fondation de la dame de Chemilly, Louise d’Andelot, baronne de Vilts. En retour, des lettres écrites par Ferdinand de Rye en 1629 au baron de Vilts, achèvent de régulariser la fondation du monastère.

Les obligations des fondateurs, notamment la construction de bâtiments neufs, n'étant pas respectées, les religieux font de nombreuses démarches afin que les clauses de l'acte de fondation soient observées. Ces derniers attendent un bâtiment neuf avec un réfectoire, une cuisine, une dépense, un dortoir, un chœur, une bibliothèque au-dessus du maître autel, un four, une buanderie, un puits… Ces demandes réitérées contribuent à tendre les relations entre le monastère et les seigneurs du château dont il dépend.

En 1636, la Franche-Comté est envahit par les troupes françaises. Le XVIIe siècle est douloureux pour toute la région en raison de la guerre, de la famine et de la peste. En 1637, le château est ravagé par la peste, le seigneur, le baron de Vilts, est alors contraint de se réfugier au couvent.

Les sources historiques évoquent les difficultés financières récurrentes du monastère et les conflits avec le château. Le mode de vie des moines est donc très sobre. En 1661, les engagements prévus par l'acte de fondation de 1627 ne sont toujours pas respectés, c'est pourquoi le 18 janvier 1661, Benoît de Lyon, représentant du tiers ordre de Saint-François à Lyon en visite à Chemilly demande que les clauses de l’acte de fondation soient enfin appliquées. Une nouvelle revendication du représentant du tiers ordre de Saint-François à Lyon, Apolinaire de Lyon, en août 1670, exige l’application des clauses initiales, nécessaires à la subsistance des religieux. La construction de nouveaux bâtiments, bornés par les vignes du château, ne commença qu'en 1676. En 1682, un conflit violent oppose le couvent à l'amodiateur des revenus de la seigneurie de Chemilly, Jean Breulle, qui conteste le droit de passage pour les religieux sur le chemin, La Rèpe, qui mène au village. Par ailleurs, les religieux souhaitent exploiter quelques vignes sur leur terrain contigu à leur enclos. Ce défrichement n’est pas du goût de l’amodiateur, qui leur intente un procès. Au XVIIIe siècle, la situation du couvent s'améliore, même si les conflits entre la seigneurie et le monastère sont monnaie courante. Ainsi, dans les années 1730, le comte de Rosen tente de remettre en cause la dotation du couvent en bois de chauffe. Un peu plus tard, c'est une charmille sur un mur mitoyen au château et au couvent qui menace les tuiles du monastère et que le comte de Mollans refuse dans un premier temps de faire couper.

Le 2 novembre 1789, les biens du clergé sont mis à disposition de la Nation. L’Assemblée Nationale décrète le 13 novembre que les Ecclésiastiques donneraient dans un délai de deux mois un état détaillé de leurs biens. Etienne Bourbon, gardien du couvent de Chemilly obéit à ce décret, il donne, en janvier 1790, la liste aux administrateurs du district de Vesoul. Les quelques religieux encore présents au monastère, les Pères Bourbon, Rougier et Longe, se font les gardiens de ces biens en attendant leur saisie. Ils craignent les vols et demandent que les vases sacrés soient conservés dans un coffre déposé dans la bibliothèque. Malgré leur résistance, les biens, mobilier courant, objets liturgiques et tableaux sont alors saisis. Il est décidé qu’une pension viagère sera versée au trois religieux Tiercelins. La menace d’expulsion est permanente. En 1792, c’est l’année finale du couvent. Tout est successivement vendu (champs, prés, bois, maisons, chapelle, couvent, objets). Fondé en 1627, le couvent n’a vécu que 165 ans, d'un vie compliquée et difficile, en conflits permanents avec les seigneurs successifs, les serviteurs et domestiques du château et aussi parfois la communauté de Chemilly.

Par la suite, la chapelle devient un hébergeage. Elle est restaurée en 1862 par son propriétaire, Monsieur Ployer, propriétaire du château. Elle est aujourd'hui de nouveau transformée en grange. Dans les années 1970, le propriétaire, Monsieur Fiquet, réalise des travaux qui ont complètement transformé l'ensemble. Perpendiculairement à la chapelle s’élevait le logis conventuel avec un escalier daté de 1739 et un plafond à croisillons en bois reposant sur des consoles en stuc. Cette aile Nord-Ouest du cloître a été complètement abattue et l'aile Nord-Est reconvertie en habitation. Des éléments architecturaux épars sont aujourd'hui encore visibles dans la cour, d'autres ont été ré-employés dans d'autres bâtiments du village, notamment dans les anciennes écuries du château.