Das Kunstmuseum Heidenheim befindet sich in den Räumen des ehemaligen städtischen Volksbades. Für dieses hatte die Fabrikantenwitwe Christine Friederike Schäfer (geb. Wulz) 1898 einen 50.000 Mark umfassenden Fond initiiert. Es folgten weitere Spenden von Unterstützerinnen und Unterstützern, sodass die Stadt Heidenheim den Architekten Philipp Jakob Manz mit dem Bau eines Schwimmbads beauftragen konnte. Hintergrund des Baus war die Verbesserung der hygienischen Verhältnisse in der prosperierenden Industriestadt, in der viele Menschen keine Badezimmer besaßen und deshalb in der Brenz badeten, was durchaus nicht ungefährlich war.

Zwischen 1903 und 1904 wurde das Gebäude errichtet. Es sollte ein großes Schwimmbecken, Wannenbädern 1. und 2. Klasse, ein Dampfbad, einen Massage- und einen Ruheraum sowie eine Wäscherei beinhalten.

In den 1970er Jahren war die Notwendigkeit eines innerstädtischen, der Hygiene dienenden Bades gering. Der Fokus verlagerte sich von der Körperreinigung hin zu Sport- und Spaßstätten. Mit der Eröffnung des Freizeitbades Aquarena 1977 verlor das Alte Volksbad zusätzlich an Bedeutung. Zudem waren die Personal- und Unterhaltungskosten hoch, sodass über eine Schließung des Bads diskutiert wurde. Diese erfolgte erst zehn Jahre später im Jahr 1987.
Es folgten Umbauarbeiten zur Einrichtung eines kommunalen Museums sowie für die Unterbringung der Berufsakademie.

Am 26. April 1989 konnte schließlich das „Kunstmuseum Heidenheim. Galerie der Stadt“ unter der Leitung von Reiner René Müller eröffnen. Die Einrichtung des Kunstmuseums wurde durch eine Stiftung von Hugo Rupf ermöglicht. Seitdem wird im Obergeschoss des Gebäudes, in dem nach dem Stifter benannten Wechselausstellungssaal, dem Hugo Rupf Saal, auf 400 m² Gegenwartskunst und Kunst des 20. Jahrhunderts präsentiert.

1992 übernahm Dr. René Hirner die Leitung des Kunstmuseums, die er bis 2020 innehatte. In seiner Zeit wurden zwei zusätzliche Ausstellungsräume gewonnen: 2001 konnte das ehemalige Schwimmbecken zur sogenannten Hermann Voith Galerie umgebaut, in der auf 330 m² Kunst gezeigt wird. Die Erweiterung erfolgte mit Mitteln aus der Hermann-Voith-Stiftung.
Durch den Umzug der Berufsakademie und dem Wegfall einer schulischen Nutzung wurden 2013 zwei weitere kleine Wechselausstellungsräume für die museale Nutzung ausgebaut, die heute als Kleiner Wechselausstellungsraum bezeichnet werden.