Das Museum Stadt erstreckt sich über drei Häuser am Miltenberger Marktplatz. Hausnummer 171, die Alte Amtskellerei oder auch Haus Miltenberg genannt, hat eine ebenso wechselvolle Geschichte wie das Doppelhaus Nr. 173-175.
AMTSKELLEREI / HAUS MILTENBERG
Das Kerngebäude des heutigen Museums ließ 1541 der kurmainzische Amtmann Bernhard von Hardheim errichten. Er war der oberste Vertreter des Mainzer Erzbischofs in Miltenberg und Umgebung. Seine Erben verkauften den Hof an Nikolaus Hürr, einen hohen Beamten des Mainzer Domkapitels.
1593 gelangte das Anwesen an den kurfürstlichen Hofmeister Ambrosius Brosamer. Er ließ die Erker, die offene Wendeltreppe und neue Türen und Stuckdecken einbauen und verdeutlichte damit seinen sozialen Aufstieg und Reichtum.
Nach Brosamers Tod erwarb die kurfürstliche Verwaltung 1625 den schmucken Bau und nutzte ihn fortan als Amtskellerei. Auch nachdem 1803 die geistlichen Fürstentümer aufgehoben worden waren, blieb die Funktion des Hauses unter der neuen Fürstlich Leiningenschen Regierung zunächst gleich. Die Hausherren wechselten in den folgenden Jahren mehrfach.
Als Miltenberg 1806 badisch wurde, zog der badische Rentbeamte ein, und ab 1810 residierte hier der großherzoglich hessen-darmstädtische Hoheitsbeamte. Nach dem Übergang der Stadt an das Königreich Bayern, wechselte dieser nur den Dienstherren, nicht den Dienstsitz. 1826 verlegte man das Rentamt nach Klingenberg.
Ab diesem Zeitpunkt musste das "Haus Miltenberg" seine Funktion als Amtsgebäude abgeben und unterschiedliche Privatpersonen zogen in das stattliche Fachwerkhaus am Marktplatz. Darunter der Kaufmann Georg Friedrich Schwaab und später der Ratschultheiß und Chronist Michael Joseph Wirth, Vater des berühmten Malers und Porträtisten Philipp Wirth, der die Räume ebenfalls bewohnte.
1913 kaufte die Stadt die Immobilie, um sie zum Pfarrhaus umzuwidmen. Wie zuvor, beklagten auch die Pfarrer das feuchte, ungesunde Klima des Gebäudes und forderten den Einbau einer Heizung. Daraus entstand der Wunsch nach einer Generalsanierung, welcher in einem Umbau zum Museumsgebäude mit einem neuen Konzept für die Dauerausstellung mündete. 1996 wurde die Dauerausstellung in der Alten Amtskellerei eröffnet.
DOPPELHAUS / EHEMALIGES ARMENHAUS
2006 eröffnete die Erweiterung des Museums, ein Doppelhaus und Einzeldenkmal aus dem späten 16. Jahrhundert. Dieses Gebäude mit gespiegeltem Grundriss blieb in seiner Substanz gut und in der Raumstruktur fast unverändert erhalten.
Im 18. und 19. Jahrhundert fungierte das Doppelgebäude als Knabenschule, dann als Volksschule und schließlich als Mädchenschule. Anschließend diente das Haus rund 100 Jahre als Armenhaus der Stadt.