Le château du Pin, construit sur une terre de l'abbaye de Baume-les-Messieurs par Jean de Chalon vers le milieu du 13e siècle, se compose d'un ensemble de bâtiments dont l'agencement actuel remonte à la fin du 15e siècle et au début du 16e siècle, alors qu'il était la propriété de la famille de Vaudrey. La chapelle fut aménagée à cette date ; les quatre médaillons qui s'y trouvent en sont contemporains, mais n'ont pas de rapport avec l'histoire du château car ils ont été acquis et posés récemment.