En mai 1645, Jean-Jacques Olier, fondateur de la compagnie des prêtres de Saint-Sulpice, achète un vaste terrain et confie à J. Lemercier l’édification d’un séminaire en face de l’église. Fermé à la Révolution, il est détruit sous l’Empire. Il faut attendre 1820 pour que E.H. Godde bâtisse au sud de la place un nouveau séminaire dont l’Etat finance en partie les travaux. Sa construction est suffisamment avancée en 1832 pour qu’on y installe un hôpital pour les cholériques.  L’architecture des façades internes, rez-de-chaussée à arcades autour d’une cour carrée, trois étages et toit mansardé, répond à l’austérité de la façade sur rue, de style dit « florentin ». Les séminaristes quittent les lieux en 1905.