En 1789, les ruines du château féodal sont vendues à un dénommé Galland, alors maire de Passavant. À cette époque, le bâtiment est constitué d'un rez-de-chaussée construit sur une cave voutée datant probablement du 17e siècle, à l'endroit où se situe la demeure actuelle, édifiée à partir des ruines de l'ancien mur d'enceinte. La propriété est acquise par un membre de la famille De Massey, maitre-verrier puis par Théodore Audon, patron d'une tuilerie à Passavant. En 1852, le site est acheté par Gabriel Dutailly dont la famille demeure propriétaire des lieux encore aujourd'hui.

Celui-ci va embellir les lieux en agrandissant la maison et en ajoutant un parc. Un second étage est construit vers 1860. La terrasse sur la façade nord est créée en 1910. L'aménagement de l'entrée principale sur la façade sud est plus récente (20e siècle).