Папський палац був побудований на північній околиці Авіньйона, з видом на річку Рону. Реконструкцію старого палацу єпископа почав Папа Бенедикт XII в 1335 році, але не була продовжена його наступниками до 1364 року. Це було дуже дорого, і під час його будівництва сюди йшла велика частина доходів папства. По завершенні будівництва палац займав площу в 2,6 акра.
Палац був побудований в дві фази, двома різними сегментами, відомими як «Старий палац» і «Новий палац». Старий палац був побудований за вказівкою Папи Бенедикта XII, за проектом архітектора П'єра Пуассона. Раціональний Бенедикт побудував палац з чотирма крилами в оточенні високих веж, що давало хороший захист від нападників. «Новий палац» був побудований при Папах Климента VI, Інокентій VI і Урбані V. При Климента VI була зведена нова вежа і прилеглі будівлі, а також каплиці для папських богослужінь. Ще дві вежі були побудовані при Інокентія VI, а при Урбані V був завершений головний двір.
Папа відбув в Авіньйон в 1377 році, і це стало причиною папського розколу. Будівля була повернуто папської влади в 1433 році. Палац залишався під папським управління протягом більш ніж 350 років і поступово занепав, незважаючи на відновлювальні роботи в 1516 році. У 1789 році під час французької революції Папський палац був захоплений, а в 1791 році він став ареною різанини контрреволюціонерів. Під час правління Наполеона, палац був переданий уряду і використовувався в якості військової казарми і в'язниці. У 1906 році Папський палац став національним музеєм.
Перед тим як палац був зруйнований революцією, він був знаменитий чудовими фресками і розкішним декором. Фрески Матео Джованетті прикрашали Старий палац і збереглися донині, будучи однією з найцікавіших пам'яток палацу.
Вже на початковому етапі, палац прикрашали фрески, гобелени, картини, скульптури і чудові дерев'яні стелі. В даний час ремонт палацу триває, його елементи відновлюються по крупицях.
Протягом року в Папському палаці проходить безліч культурних заходів. Літні місяці є найбільш популярним часом для відвідування, оскільки щоночі тут що-небудь відбувається. У серпні проходять концерти класичної музики три дні на тиждень (по середах, п'ятницях і неділях), а ввечері - дегустація вин.
З 1947 року, після незабутньої виставки, присвяченій Пікассо, мистецтво стало традицією в папському палаці. Щороку, влітку, в ньому проходять виставки мистецтва, де виставляються всесвітньо відомі шедеври.
