La Tour Schweitzer correspond à une tranche de travaux plutôt isolée au sein du plus vaste programme d’extension du quartier sud. Courant 1971, l’Office Public Départemental HLM de la Nièvre charge les architectes Jean Louria et Jacques Sonnet d’établir un projet de construction avec un recours obligatoire à un procédé de préfabrication industriel, comme pouvait l’utiliser l’entreprise Cormier. Mais le 29 novembre 1971, la circulaire n°2222 est publiée ; elle précise que les marchés HLM ne peuvent pas porter sur moins de 200 logements, que la Politique des Modèles mise en place par l’État doit être poursuivie et qu’un financement prioritaire est accordé aux opérations faisant appel à un modèle. L’Office prévoit donc de faire appel au modèle « Centre 70 » développé par l’entreprise Hilaire Frères et les architectes Mansiat et Blatter. J. Louria et J. Sonnet cessent leurs premières études et prennent contact avec l’entreprise Hilaire Frères pour adapter son modèle de logement homologué à l’opération cosnoise. Peu de temps après, lors de sa séance du 11 avril 1972, le Comité départemental des HLM fixe le contingent des logements financés pour l'exercice de l'année en cours : sur les 204 logements HLM programmés pour 1972, 54 le sont pour Cosne-Cours-sur-Loire, les autres contingents allant aux communes de Nevers et Varennes-Vauzelles. Les architectes retravaillent à nouveau leur projet et décident ainsi de réaliser les 54 logements dans une tour de dix niveaux, issue du modèle « Centre 70 ».

Le projet est approuvé par la municipalité lors du Conseil municipal du 29 mars 1972, même si le principe d’une tour suscite un certain nombre de polémiques. Le maire était originellement opposé à une réalisation avec la typologie d’une tour, notamment pour des questions de sécurité incendie : la commune ne possédait pas à l’époque d’échelle de pompier suffisamment grande pour assurer le sauvetage des personnes dans les étages élevés. La circulaire 72-97 du 3 juillet 1972 relative à l’amélioration de la qualité de construction des bâtiments HLM contraint l’office public à demander aux architectes et à l’entreprise Hilaire Frères de revoir en partie le projet ce qui entraine certains retards. Les nouveaux plans sont datés de septembre 1972 et le début des travaux programmé pour le mois de décembre, mais cette opération subit de nouveaux retards. En effet, au mois de juillet 1973 seule la plate-forme du soubassement est réalisée. La tour est achevée en juillet 1974.

Cette opération est parfois mentionnée dans les documents d’archives comme 6e tranche (les quatre premières correspond aux bâtiments A à K et la cinquième aux 226 logements des barres B1 à B10).