Sinds 31 maart 2006 is het Stadsmuseum Grave gevestigd in de noordelijke vleugel van de in de periode 1686 - 1688 gebouwde Hampoort. Het museum vindt zijn oorsprong in de privé-collectie van de Graafse amateurarcheoloog Martien Koolen. In de loop der tijd was de door hem opgegraven verzameling archeologische voorwerpen te groot geworden om in zijn eigen huis te kunnen bergen. Begin 1977 ging hij daarom met hulp van de Gravenaren Tom Hamers, Jean Laguette † en oud-deken W.J.A. van Haaren † op zoek naar een alternatieve ruimte.