Le couvent des Carmes déchaussés est fondé en 1611 par Nicolas Vivien. La chapelle Saint-Joseph, construite de 1613 à 1620, est couronnée d’un dôle à l’italienne, le deuxième élevé à Paris, et la décoration intérieure est assurée par des artistes flamands. Sous la Révolution, le couvent des Carmes devient prison. La crypte contient encore les restes des 114 prêtres réfractaires massacrés le 2 septembre 1792 sur le perron du jardin. En 1797, le couvent est racheté par Mademoiselle de Soyécourt. Elle y réintègre la communauté religieuse, puis le cède, en 1845, à l’archevêque de Paris pour y établir l’Ecole des Carmes. De 1849 à 1867, Lacordaire, après avoir reconstitué l’ordre dominicain, y installe un couvent de frères prêcheurs. En 1875, l’Institut Catholique y élit domicile.