Появление усадьбы связано с участником Куликовской битвы, уроженцем Волыни, Дмитрием Ивановичем Волынским-Боброком. Название Вороново закрепилось при внуке Боброка – Михаиле Гргорьевиче Волынском. Он был воеводой при Иване III, и носил прозвище Вороной.
Одним из самых известных личностей из рода Воронцовых был крёстный А.С.Пушкина – Артемий Иванович Воронов.
Артемий Петрович, претерпев ряд неудач по службе при Петре I, Екатерине I, и Петре II, при императрице Анне Иоанновне прошёл путь, поднимаясь по служебной лестнице вверх от скромного военного инспектора под начальством Миниха в 1730-м до кабинет-министра в 1738 году. Являясь кабинет-министром, А.П. Волынский начал бороться с засильем иностранцев при дворе. Был обвинён в организации государственного переворота и 27 июня 1740 года казнён за участие в заговоре против Бирона. По решению суда все имения его были конфискованы.
В 1741 году вступившая на российский престол императрица Елизавета Петровна отменила приказ о конфискации и в 1742 году вернула Вороново наследникам. Спустя 5 лет наследницей своего отца стала одна из дочерей А.П. Волынского Мария Артемьевна, получив Вороново в приданое. Мария Артемьевна вышла замуж за графа, генерал-поручика, сенатора, президента Вотчинной коллегии Ивана Илларионовича Воронцова. После женитьбы на Марии Артемьевне Иван Илларионович вышел в отставку и поселился в Воронове. Это было время расцвета усадьбы и формирования её дворцово-паркового ансамбля. О роскоши и великолепии созданной усадьбы говорит тот факт, что в 1775 году в Вороновском имении останавливалась Екатерина II. Екатерина Дашкова в своих «Записках» пишет: «Императрица предприняла несколько поездок, между прочим, в Калугу, где остановилась в великолепном поместье моего дяди, графа Воронцова».
После Воронцовых, начиная с 1800 года, усадьбой владели Ростопчины. Московский генерал-губернатор Фёдор Васильевич Ростопчин, в 1812 году сжёг свой дворец при приближении французов.
После смерти Ф.В. Ростопчина и Е.П.Ростопчиной в 1859 г. село Вороново продаётся их сыном Андреем Фёдоровичем разным владельцам усадьбы.
В конце 1870-х гг. усадьбу покупает граф Александр Дмитриевич Шереметьев. Историк граф Сергей Дмитриевич Шереметьев, купивший Вороново у своего брата, отдаёт его в приданое своей дочери Анне Сергеевне, вышедшей в 1894 году замуж за графа Александра Петровича Сабурова. После венчания зимой супружеская пара жила в Петербурге, а лето проводила в Воронове. Горька судьба последних хозяев Воронова. После революции Граф Сабуров был арестован и расстрелян, жена его, Анна Сергеевна, прошла и тюрьму, и ссылку, двое их сыновей погибли в лагерях.
В 1949 году усадьба была приспособлена под дом отдыха, здание корпуса №2 было восстановлено на старом фундаменте.
После национализации имения, конный двор не использовался. В 1940 — 1950-е годы здесь размещался гараж, однако постройки не ремонтировались. К 1957 году они пришли в ветхое состояние и были разобраны. Исключение составила юго-восточная башня, являющаяся единственным сохранившимся объемом некогда развитого ансамбля.
Сейчас на территории бывшей усадьбы расположен Лечебно-реабилитационный центр Минэкономразвития России.