В документах начала XVII века местность, где расположена усадьба, указывается как «Климово, Нечаево тож». Свое нынешнее название она получила во второй половине XVIII века после присоединения ее к соседней деревне Остафьево.

Среди владельцев усадьбы были представители известных российских фамилий: Ляпуновы, Львовы, Апраксины, Голицыны и выходцы из народной среды, компаньоны-фабриканты К.М.Матвеев и И.И.Сухарев, основавшие в Остафьеве в 1758 году суконную фабрику. Помимо фабрики К.М.Матвеев построил в Остафьеве господскую усадьбу, а при его наследниках было осуществлено строительство церкви Святой Троицы (автор проекта неизвестен) с престолом Георгия Победоносца. Она освящена в 1782 году.