D'après la requête en voirie de Claude-Damien Gardaire, architecte et sculpteur, la maison a été construite par et pour lui-même en 1745 à partir d'un édifice qui aurait été commencé par les anciens propriétaires et que Gardaire dit avoir néanmoins démoli pour donner une pente correcte aux eaux venant de la rue du Perron (actuelle rue Chifflet) et de la rue Neuve (actuelle rue Charles Nodier). A l'angle de cette dernière et de la rue du Porteau s'élève la maison, qui possédait à l'origine en rez-de-chaussée, deux arcades boutiquières, de part et d'autre de la porte du couloir distribuant la maison. A une époque indéterminée, celle de gauche a été remplacée par deux fenêtres et celle de droite a été à demi-murée. L'aile située sur la rue du Porteau qui était en rez-de-chaussée avec une porte cochère à son extrémité gauche, a été surélevée d'un étage entre la deuxième moitié du 18e siècle et le 19e siècle et la porte cochère murée à une époque indéterminée. Sur la façade sur rue, les pierres d'attente épannelées au-dessus de la porte d'entrée du couloir et de la fenêtre du premier étage située au-dessus, prévues pour recevoir un décor, n'ont jamais été sculptées, peut-être à cause de la mort prématurée de l'artiste.