Le territoire de Passavant se situait sur la frontière du royaume de France. L'édification d'un château pourrait remonter au 10e siècle, suite au partage de l'Empire carolingien. Cette place-forte, maintenue et améliorée au cours des siècles, eut pour but de garder ce lieu frontalier du Royaume de France face au voisin, le duc de Lorraine. Au 13e siècle, le château-fort est équipé d'un donjon. L'emprise militaire reste cependant modeste, on estime que le château s'étendait sur environ 25 ares.

L'essor des échanges commerciaux et le fait que Passavant se situe sur l'axe Nancy-Lyon favorisent l’implantation de commerçants et d'artisans aux abords du château. C'est probablement à partir du 12e siècle et au cours du 13e siècle, que le bourg se fortifie ; un mur d'enceinte et des tours sont construits dans le prolongement du château-fort. Au 16e siècle, cette zone fortifiée s’étendait sur près de 160 hectares. Un plan de l'arpentement général de finage de Passavant vers 1688 permet de visualiser l'organisation du château et de l'agglomération fortifiée.

De ce bourg fortifié, ne subsistent que quelques éléments : l’élément le mieux conservé est la tour "Mathey" du nom d'un des anciens propriétaires. Cette tour était située à l'entrée unique de la ville ; une seconde, face à la précédente complétait le dispositif. On distingue encore sur la tour l'emplacement de la herse qui permettait de fermer le bourg aux agresseurs. Près de l'église, on distingue les bases d'une autre tour d'angle qui appartenait au système défensif. Au total, les fortifications comptèrent probablement cinq tours.

Il n'y a plus aucune trace de l'habitat contemporain des fortifications. Les vestiges les plus anciens sont le puits du Bourg et la maison située entre le château et l'église, appelée "maison des sœurs". Elle conserve des ouvertures attestant une construction ancienne ainsi qu'un blason sur le linteau de la porte d'entrée.

La tour "Mathey", en tant que dernier vestige du bourg fortifié, fut inscrite en totalité à l'Inventaire supplémentaire des Monuments historiques en 1985.