La maison, héritée de leur père Simon Charmet, appartenait dans le 4e quart du 18e siècle à l'orfèvre Félix Charmet et à l'architecte Charles Charmet. Dans une requête en voirie, datée 1788, les deux frères demandaient la permission de la reconstruire. Le dessin exécuté par Charles Charmet, montrant une élévation sur rue de style néo-classique, fut très critiqué par l'architecte voyer Charles-François Longin qui la trouvait d'un "mauvais goût d'architecture". La façade actuelle correspond néanmoins au dessin de 1788. Le rez-de-chaussée a cependant été dénaturé, probablement au 20e siècle, par l'agrandissement de l'arcade boutiquière en hauteur et en largeur, masquant les bossages du rez-de-chaussée. L'entrée du couloir prévue, à l'origine, à droite de la façade, est située à gauche de celle-ci. C'est probablement aussi au 20e siècle que la cour a été couverte, tandis que l'escalier a été refait au 19e siècle.