Construit pour Jean Dufour de Nogent vers 1696, il appartint aux marquis puis aux ducs de Castries entre 1708 et 1886. Le plus célèbre d’entre eux, le maréchal de Castries, fut ministre de la Marine sous Louis XVI. Un duel entre son fils et le député Charles de Lameth, rallié aux idées nouvelles, fut à l’origine du saccage de l’hôtel par la foule révolutionnaire le 13 novembre 1790. L’épée qui avait blessé Lameth aurait été empoisonnée. Ministère de la Guerre pendant l’émigration de ses propriétaires, l’hôtel de Castries appartient à l’Etat depuis 1946. La façade sur cour et la décoration intérieure ont été entièrement remaniées au milieu du XIXe siècle par J.-A. Froelicher et C. Parent.