En 1708, avant de partir au service du tsar Pierre le Grand, l’architecte Leblond édifia l’hôtel de la marquise de Seissac, veuve du comte Clermont-Lodève. Ses héritiers le cédèrent au comte Grimont d’Orsay en 1768. Après l’émigration de ce grand collectionneur, ses œuvres d’art furent saisies et dispersées ; certaines se trouvent au musée du Louvre. Sous le Directoire, une société de jeux gymniques où l’on pratiquait la danse, la lutte et l’escrime périclite assez rapidement. En 1836, Barbet de Jouy rachète la propriété le temps de percer la rue baptisée de son nom et de lotir une parti du parc, puis la cède au comte Duchâtel, ministre de Louis-Philippe. L’Etat en est propriétaire depuis 1947.