La château seigneurial de Passy s’élevait au voisinage des rues des Vignes, Boislevant et Assomption. Grâce à Claude Chahu, qui construisit de ses deniers l’église N.D. de Grâces en 1661, à la demande générale, Passy devint indépendant d’Auteuil. Le château est embelli en 1720 par le banquier S. Bernard, pour sa maîtresse Mme de Fontaines, devenue « seigneur » de Passy. Des serres en cristal ornent les jardins qui descendent jusqu’à la Seine. Le Marquis de Boulainvilliers loue ensuite le château au fermier général de la Pouplinière, qui le transforme en Temple des Arts et de la Musique : J.B. Rousseau et Rameau sont des habitués. Le duc de Penthièvre est le dernier locataire du domaine, morcelé à partir de 1827.