Музей был создан в 1897 году и изначально был посвящён московскому городскому хозяйству. Но коллекции росли, фонды пополнялись, и постепенно он стал музеем, рассказывающем об истории города в целом.
Первое упоминание о Москве относится к 1147 году, но экспозиция музея охватывает ещё более ранний период, ведь, согласно археологическим исследованиям, на территории столицы ещё в VII веке до нашей эры располагалось несколько городищ.
С 2006 года главное здание музея, до этого находившееся в церкви Иоанна Богослова, расположилось в помещениях «Провиантских магазинов». На сегодняшний день его фонды насчитывают около одного миллиона единиц хранения. Среди сокровищ коллекции — картины Ивана Айвазовского, Василия Поленова, Василия Сурикова, старинные открытки, редкие рукописные книги. Во внутреннем дворике проводят временные выставки, фестивали, концерты, конкурсы, спектакли.
При музее действует лекторий, детский центр с тематическими программами, сувенирный магазин, кафе, центр документального кино с регулярными кинопоказами.