Музей истории города Москвы создали по инициативе научной общественности в 1896 году. Коллекция представлена экспонатами павильонаМ«осква» Всероссийской художественно-промышленной выставки 1896 года. На ней были представлены достижения в области городского благоустройства, просвещения и благотворительности.

В коллекцию поступали самые различные предметы, которые имели какое-либо отношение к истории столице. Среди них были не только произведения изобразительного искусства, документы, планы и карты города, но и предметы быта Москвичей. Коллекция разместилась в одной из бывших Крестовских водонапорных башен.

Изначально музей носил название Московского коммунального. Он был расположен в отреставрированной Сухаревской башне, созданной в 17 веке. В середине 30-х годов из-за генерального плана реконструкции столицы, коллекция была перемещена в церковь Иоанна Богослова. Современное название музею было дано в 1987 году.

Самый древний период истории московских земель представлен археологическими находками, в их числе древнерусские украшения и посуда. Они были созданы из камня и бронзы. Богатая коллекция планов, карт и фотоснимков помогает собственными глазами увидеть, как изменялся город на протяжении столетий. Уникальный документальный фонд музея хранит самые редкие документы - от нотариальных бумаг до меню обеда, данного в честь коронации Николая II и Александры Федоровны.

Особый интерес представляет коллекция бытовых предметов. Она представлена подлинными образцами городских костюмов 18-20 веков, аксессуаров, мебели, часов и других предметов домашнего обихода.