Усадьба Остафьево в нынешнем ее виде была построена на рубеже XVIII и XIX веков князем Андреем Ивановичем Вяземским (1754-1807 гг.). Это был потомок Рюриковичей и один из образованнейших людей своего времени. Начав карьеру, как многие дворяне, с военной службы, он в двадцать с небольшим был уже полковником, участвовал в русско-турецкой войне, дослужился до генерал-поручика. По «гражданской части» был нижегородским и пензенским наместником.
Во время заграничного путешествия князь встретил ирландку Женни Квин (урожденную О’Рейли). Он увез ее в Россию, добился для нее развода и женился на ней.
Человек много повидавший, умный, независимый, Андрей Иванович и людей притягивал к себе незаурядных; дом его в Москве и в Остафьеве был «средоточием жизни и всех удовольствий просвещенного общества». В гости к князю приезжали И.И.Дмитриев, В.А.Жуковский, В.Л.Пушкин, Ю.А.Нелединский-Мелецкий. Двенадцать лет (с 1804 г. по 1815 г.) в Остафьеве жил и работал над «Историей государства Российского» писатель и историк Николай Михайлович Карамзин, женатый на старшей дочери А.И.Вяземского Екатерине Андреевне.
Самый известный из владельцев усадьбы, Петр Андреевич Вяземский (1792-1878 гг.), прекрасный поэт и литературный критик, всю долгую жизнь помнил Остафьево. С усадьбой связаны его первые детские впечатления: ночная роща, куда отправляли его гулять, чтобы побороть боязнь темноты; огромная библиотека отца; стихи прочитанные, услышанные, написанные… Этот свой памятный с детства мир отправился князь защищать под Бородино в 1812 году.
Спустя многие годы, будучи товарищем министра народного просвещения, сенатором, членом Государственного совета, вспоминал он молодые лета и Остафьево, где его навещали А.И.Тургенев, А.С.Пушкин, К.Н.Батюшков, А.С.Грибоедов, Д.В.Давыдов, В.Л.Пушкин, А.Мицкевич, Н.В.Гоголь и многие другие.
Третий из владельцев Остафьева, князь Павел Петрович Вяземский (1820–1888 гг.), сенатор и камергер, основал Общество любителей древней письменности, в задачу которого входила публикация памятников древнерусской литературы, их изучение и популяризация. Он написал «Замечания на «Слово о полку Игореве», издал семь автографов Пушкина и работу «А.С.Пушкин по документам остафьевского архива и личным воспоминаниям». «Пушкин постоянно и настойчиво указывал мне, - свидетельствовал Павел Петрович, - на недостаточное знакомство с текстами Священного Писания и убедительно настаивал на чтении книг Ветхого и Нового Завета…». Князь был страстным коллекционером, при нем Остафьево стало «прибежищем» собраний живописи, графики, прикладного искусства.
Павел Петрович выделил в усадьбе мемориальные комнаты Карамзина, Пушкина и своего отца Петра Андреевича Вяземского.
После смерти князя Вяземского усадьбу унаследовал его сын Петр Павлович Вяземский (1854-1931 гг.), генерал-майор Гренадерского лейб-гвардии полка, шталмейстер двора, адъютант великого князя Михаила Николаевича, участник Русско-турецкой войны 1877-1878 гг.
Для Петра Павловича Остафьево стало непосильной ношей. В 1898 году он продал усадьбу Остафьево мужу своей сестры Екатерины