Возникновение соборной мечети было связано с ростом численности татарского населения Москвы. К началу XX века татары жили не только в Замоскворечье, но и на улицах Сретенке, Мясницкой, Трубной и т. д. Начиная с 1894 года, мусульманская община неоднократно обращалась к московским властям с просьбой разрешить построить в городе вторую мечеть. Но неизменно получала отказ. В 1902 году московский мещанин С. Бакиров и касимовский купец Х. Акбулатов подали заверенное Оренбургским магометанским духовным собранием прошение о передаче принадлежащих им земель на участке Мещанской части по Выползовому переулку «для постройки на этом участке второй магометанской мечети». В декабре 1903 года московские власти во главе с генерал-губернатором Москвы великим князем Сергеем Александровичем проект одобрили. Финансирование строительства мечети полностью взял на себя татарский купец Салех Юсупович Ерзин (после революции он потерял все, что нажил, но эмигрировать не захотел, поэтому работал сторожем в Театре им. Вахтангова на Арбате). В журнале «Зодчий» (№ 32 за 1904 г.) в разделе «информация» появилась справка: «Магометанская община в Москве приступила к сооружению второй мечети, приобретя за 35000 руб. участок земли. Проект выполнил архитектор Николай Алексеевич Жуков в Византийском стиле с хорами на 2000 молящихся». Сроки, за которые была воздвигнута мечеть, поразили всех — огромное здание соборной мечети построили за 5 месяцев. И 27 ноября 1904 года первый имам новой мечети Бадриддин хазрат Алимов обратился к властям с просьбой разрешить начать в мечети богослужение. В советский период мечеть не закрывалась и была единственной действующей мечетью в Москве. Перед московской летней олимпиадой 1980 года над мечетью, находящейся рядом со спортивным комплексом «Олимпийский», нависла угроза сноса. Мечеть спасли московские религиозные деятели и послы арабских стран. С 1996 года на участке Московской соборной мечети в отдельном здании располагается Совет муфтиев. В мае 2005 года началась крупномасштабная реконструкция мечети.