Дерев'яний будинок на набережній Мойки з'явився в 1739 році. Його проектуванням і будівництвом для Р.Г. Левенвольде - наближеного Анни Іоанівни - займався архітектор Ф.Б. Растреллі . Ця ділянка графом був обраний не дарма - поблизу стояла садиба Н.Ф. Лопухиной, з якою у нього був роман. Нова імператриця - Єлизавета Петрівна не дуже жалувала наближених своєї попередниці. Левенвольде відправляють на заслання, а його дерев'яний палац - в казну держави.
Будинок недовго був порожній - йому знаходиться новий господар. Кирило Григорович Розумовський - президент Академії наук, який пробув на цій посаді півстоліття, вступив у володіння ділянкою в 1749 році. Розумовський задумує будівництво кам'яної будівлі, адже дерев'яний палац з часів зовсім занепав. Його стіни в 1760 році зносять і на колишньому фундаменті зводяться нові. Палац Розумовського був готовий в 1766 році. Працювали над проектом і керували будівництвом два архітектора: спочатку А.Ф. Кокорін, а потім Ж.б. Валлєн деламот .
Створене будівля вийшло дуже красивим. Особливо гарний його головний фасад. Строго дотримана симетричність ансамблю. По центру фасаду проходить колонада, що містить у собі шість колон. Вона з'єднують воєдино два поверхи. Вікна, що мають різну форму, обрамлені в різьблені лиштви і ліпнину. Ризаліт проходить над цокальним поверхом по центральному і садовому фасаду. Територія палацу від набережної відділяє огорожа з каменю. Садовий ділянку за будинком засаджений яблунями, липами та дивовижними рослинами.
Якщо зовні палац Розумовського мало змінився, то внутрішні приміщення зазнали не одну перебудову. Цього вимагала специфіка використовуваного простору. Остання серйозна реконструкція була проведена в 1829-1834 роках.
Господар будинку влаштовував для знаті бали і маскаради, але в той же час не обділяв увагою бідноту. На великі свята навколо палацу збирався натовп людей і їх наділяли милостинею. У 1781 році Розумовський залишає Санкт-Петербург, а палац набуває граф з поляків - Браницький К.П. Згодом його викуповує держава, коли в 1798 році Браницький вирішує виїхати за межі Росії.
Відразу ж палацу знаходиться нове застосування. У його приміщеннях розміщується Виховний будинок. Роком раніше Павло I видає указ про необхідність створення подібних закладів для покинутих дітей. Його дружина - Марія Федорівна взяла на себе патронаж над виховним будинком. У нього визначали безрідних немовлят, підкидьків і дітей-інвалідів до десятирічного віку. Дев'ятимісячних малюків віддавали в порядні родини на виховання і стежили за їхньою подальшою долею аж до одруження. Заклад існувало на благодійні пожертви, на доходи від імператорських театрів . Сюди могли прийти породіллі і залишити свою дитину на піклування Виховного будинку. Тут довгий час існувало Сирітське відділення, яке після перетворюється в Сирітський інститут. Дівчаток навчали також як і в жіночих навчальних закладах того часу.
Сьогодні палац Розумовського добре відомий корінним жителям Санкт-Петербурга і гостям міста. У ньому розташовується Педагогічний університет імені Герцена. Взагалі, заклад на набережній Мойки отримало статут педагогічного закладу в 1903 році.
