Мармуровий палац був побудований за указом Катерини II в якості подарунка своєму фавориту - Григорію Орлову. Він брав активну участь в палацовому перевороті 1762 року, результатом якого стало повалення правлячого Петра III і воцаріння Катерини. Мармуровий палац побудували в 1768-1785 роках за проектом архітектора Антоніо Рінальді. У відповідь граф Орлов подарував імператриці перський діамант «Надир-шах», який зараз відомий під прізвищем дарувальника.
У фундамент будівлі заклали мармуровий ящик з монетами. Плити граніту і мармуру на будівельний майданчик привозили по Неві. У 1769 році були побудовані цегляні стіни і склепіння, протягом наступних років проводилася первинна обробка природного каменю. Після фасади Мармурового палацу стали обробляти гранітом і мармуром, причому білий сорт привозили з Італії, оскільки це було дешевше, ніж везти його з Уралу або Алтаю. Решта сортів добували в кар'єрах в околицях Онезького і Ладозького озер.
Мармуровий палац став першою будівлею в Петербурзі, яке було облицьовано природним каменем. Антоніо Рінальді незадовго до закінчення робіт впав з риштування і отримав важкі травми. Він виїхав з Росії до Італії, не побачивши своє творіння завершеним.
Після Жовтневої революції Мармуровий палац був націоналізований, більшу частину його художніх колекцій передали в Ермітаж. У різний час тут розташовувалися Наркомат праці, Управління палацами-музеями, Центральне бюро краєзнавства, апарат уповноваженого Наркомату освіти, Товариство соціології та теорії мистецтва, Академія історії матеріальної культури. У 1992 році будівлю передали Російському музею, в його дворі був встановлений пам'ятник Олександру III. Тепер в Мармуровому палаці проходять тимчасові виставки сучасного мистецтва.
