Дом был выстроен в 1780-х гг. для М. Р. Хлебникова — заказчика строительства церкви Космы и Дамиана. В 1793 году продан фельдмаршалу П. А. Румянцеву, знаменитому полководцу прославившемуся в Семилетней, а затем в Турецкой войнах (1770-е – 1790-е годы). Дом был расписан внутри картинами (позже уничтоженными) сражений русско-турецкой войны, в которых он участвовал, а возле дома был разбит сад. В 1796 году дом перешёл к сыну графа графу Николаю Петровичу Румянцеву (1754—1826), а в 1826 году — другому его сыну графу Сергею Петровичу Румянцеву (1755—1836). Во второй половине XIX века здание несколько раз перестраивалось. Псевдобарочная отделка здания могла появиться в 60–70-х годах XIX века. К 1886 году здание обрело свой нынешний вид: с окнами по уличному фасаду, доходящими до цоколя, и дверными проёмами, доведёнными до тротуара.