La terrasse et les deux tourelles d'angle bordant la Saône, qui auraient été construites en 1475 pour Charles de Stainville (d'Estainville - Courtépée), sont les seuls vestiges du château médiéval. Le château actuel fut édifié vers 1761 pour Philibert Gagne de Perrigny sur les plans de Jean Antoine Caristie, avec peut-être la collaboration de l'architecte Edme Verniquet. Le pavillon ouest du logis fut ajouté au début du 19e siècle. La chapelle et les autres bâtiments sont postérieurs à 1824, date du cadastre ancien.

Une partie des constructions du château est détruite au cours du 19e siècle. Peu après son brevet pour une "charbonnière" pour la distillation du bois (1804), Jean-Baptiste Mollerat (1772-1855) installe une usine chimique dès 1809 sur le domaine du château de Pouilly-sur-Saône. Ce site présente de nombreux avantages, comme les détaille P. Jobert : "la proximité des bois, un accostage sur la Saône où la matière première serait débarquée puis transportée dans l'usine à édifier au milieu du vaste parc ; la possibilité d'utiliser facilement les fleuves navigables et canaux pour conduire les charbons à Lyon, les goudrons à l'arsenal de Toulon, la soude et les autres produits de la distillation dans l'ensemble de la France". Malgré quelques crises financières (en 1810-11 et 1840), l'usine est prospère et emploie jusqu'à 360 salariés au milieu du 19e siècle et reste dans la famille jusque dans les années 1880. C'est d'ailleurs ce que l'on peut voir sur les plans anciens : le plan de la Saône de la fin du 18e siècle et la carte d'Etat-Major distinguent "la fabrique de produits chimiques" au niveau du château, du haut-fourneau et de la tuilerie, plus en amont (cf. site de l'usine Jacob-Delafon). L'usine a fait faillite et le château a ensuite été loué à Emile Jacob (propriétaire de l'usine voisine).

A l'est du château (actuellement dans le parc) se trouvait la motte Saint-Jean. Elle a été rasée à la fin du 18e siècle. D'après Mouillebouche, cette motte serait à l'origine "une sorte de tumulus collectif", vu le nombre de squelettes trouvés lors de sa destruction, transformée en château dès le 10e siècle.