Село Быково впервые упомянуто в XIV веке в духовной грамоте князя Дмитрия Донского, в конце XVIII века принадлежало Московскому генерал-губернатору М. М. Измайлову. После 1775 года архитектор В. И. Баженов произвёл перепланировку старинной усадьбы, возвёл усадебный дом в 1789 году построил Владимирскую церковь. От дворца Баженова остались лишь фундамент и пандусы у главного входа: в середине XIX века, когда Быково перешло во владение графа Иллариона Воронцова-Дашкова, дом перестроил швейцарский архитектор Бернар Симон. Получился пышный двухэтажный дворец из красного кирпича с башней в стиле английских замков.