Das stattliche Gebäude, in dem sich heute das Museum der Stadt befindet, wurde 1787 – 1791 vom Chef der Floß- und Holzhandelscompagnie, Johann Martin Vischer, nach Plänen des Stuttgarter Herzoglichen Oberbaudirektors Reinhard Fischer errichtet. Einige Innenräume sind in ihrem Ursprünglichen Zustand erhalten und geben Einblick in die gehobene Wohnkultur der damaligen Zeit. Das Museum zeigt in 18 Räumen Sehenswertes zur Stadtgeschichte, informiert über besondere Ereignisse und stellt bedeutende Personen vor.
Als Alternative zum Besuch Hermann Hesse Museums, welches bis ins Jahr 2025 wegen Sanierungsmaßnahmen geschlossen ist, wurde im Jahr 2021 eine Präsentation über Hermann Hesse im Palais Vischer neu eingerichtet, die einen Überblick über die Lebensstationen des Dichters sowie sein Schaffen als Maler in seiner Wahlheimat Montagnola vermittelt. Darüber hinaus befassen sich zwei Räume intensiv mit der Thematik des "Steppenwolf"-Romans.
