Edifié vers 1645 par François Mansart pour le cardinal, l’hôtel de Nevers, partie nord de l’hôtel de Mazarin, revint, en 1661, à son neveu Julien Mancini, duc de Nevers. Celui-ci en vendit la moitié nord-est à Colbert, qui fit percer la rue rebaptisée de son nom. Une arcade reliait l’hôtel de Nevers aux autres bâtisses. La moitié nord-ouest, sur la rue de Richelieu, louée en 1698 à la marquise de Lambert, abrita de 1710 à 1733 un salon littéraire fréquenté par Fontenelle, Marivaux, Montesquieu. L’hôtel de Nevers fut ensuite occupé par le Cabinet des Médailles du Roi. En 1878, Pascal l’a presque totalement détruit pour édifier des bâtiments modernes.