Construit sous la Restauration pour servir de résidence aux membres de la famille Royale qui venaient faire usage des eaux dans la cité thermale, le Pavillon est habité en 1828 par la Duchesse d’Angoulême, qui y apprend l’accident mortel de son mari. Alfred de Musset y fut reçu en 1845 par le Préfet des Vosges. Napoléon III y séjourna à trois reprises, en 1857, 1858, 1865. C’est dans cet immeuble le 21 juillet 1858, que l’Empereur eut, avec Cavour, la célèbre Entrevue, au cours de laquelle devait se décider l’avenir de l’Italie, occupée alors par les autrichiens, et le rattachement de la Savoie et du Comté de Nice à la France.