D'après la Notice sur la vie et les travaux de Luc Breton (1801) de Jean-Louis Callier, le "temple en ruine" est construit sur un dessin de Luc Breton. L'attribution a été depuis reprise par Lucie Cornillot, qui le date de 1775. Il aurait donc été commandé par Charles Roger de Bauffremont, et constituerait l'unique vestige du parc du château du 18e siècle. Le sculpteur a exécuté plusieurs portraits de la famille de Bauffremont à partir de son installation à Besançon en 1771. Le portrait de Charles Roger de Bauffremont qui se trouvait dans la galerie du château a disparu. Il est toutefois connu par des répliques en plâtre, dont celle conservée à la Bibliothèque d'étude et de conservation de Besançon. L'édifice devait à l'origine avoir également une fonction de réservoir, alimenté en eau par la source située à proximité, sur le flanc de la côte. Cette fonction explique très vraisemblablement l'éloignement de l'édifice par rapport au château du 18e siècle. Sur les cartes postales anciennes, l'édifice porte également les noms de "Maison Cascard" et "Maison du Garde" ce qui permet aussi de supposer qu'il a servi d'habitation. Si cette fonction est d'origine (ce dont on pourrait douter avec la mention contradictoire d'un "temple en ruine" en 1801), le premier nom pourrait faire référence à Nicolas Cascard (ou Gascard) qui était "frotteur" de parquets au château, ou à ses fils Claude Nicolas (né en 1768) et Alexandre Emmanuel Louis (né en 1781).