Дом Остермана был восстановлен по проекту архитектора Еремеева и включал в себя новые постройки и небольшие переделки.
За 74 года семинария выпустила из своих стен более пяти тысяч воспитанников, здесь ежегодно занималось до 700 учеников (не считая 100 в начальной школе); из них до 400 проживало в семинарском общежитии. Некоторые выпускники стали впоследствии незаурядными деятелями науки и культуры, среди них были ректоры высших учебных заведений, выдающиеся иерархи
Русской церкви, историки, медики, писатели. Ректоры семинарии зачастую становились архиепископами и митрополитами.
После Великой Отечественной войны в здании обосновались Президиум Верховного Совета и Совет Министров РСФСР. В конце 1940-х в мастерской архитектора В.Г. Гельфрейха был создан проект трехэтажной пристройки для Президиума Совмина. Новый корпус примкнул к торцевой стене бывшего семинарского общежития.
К 1981 г. правительство России переехало в Белый Дом у Красной Пресни, а ранее занимаемые помещения передало Всероссийскому музею декоративно-прикладного и народного искусства, куда 21 июля 1981 г. вошли первые посетители.
Здание музея, являющееся памятником архитектуры XVIII - середины XX вв., нуждается в настоящее время в проведении комплексной реставрации. Фасад дворца и планировку парадной анфилады можно восстановить по недавно выявленным архивным документам, описанным в этой статье. Усадебная композиция, заложенная в конце XVIII в., не была нарушена многочисленными наслоениями XIX-XX вв. - пристройки скрываются за главными корпусами. Архитекторы отводили новым зданиям заведомо подчиненную роль, оставляя первенство за усадебными сооружениями,
не нарушая, а дополняя сложившийся ранее ансамбль.
Таким образом, дворцовый комплекс с двухсотлетней историей, переживший пожар 1812 г. и революцию 1917 г., многократно перепланированный, но поддающийся восстановлению, вправе сегодня носить имя графа Остермана.