Petit Palais fu costruito nel 1317. Si trova nella parte settentrionale della piazza, di fronte alla residenza del Pontificio, ed è così chiamato a causa delle sue modeste dimensioni e il valore rispetto al Palazzo dei Papi.

La storia della sua apparizione vaga: secondo una versione - è stata costruita per un nipote di papa Giovanni XXII, Arnaud de Via, dall'altro - è stato costruito dal cardinale Bérengère F. Vecchio. Dopo la sua morte, il palazzo e il parco furono acquistati dal cardinale Arnaud de Via. Nel 1335 Via De morì e il palazzo apparteneva a nessuno fino all'arrivo di Papa Benedetto XII, che ha comprato di nuovo e trasformato in residenza ufficiale dell'arcivescovo di Avignone.

L'edificio è stato gravemente danneggiato nel periodo dal 1396 da 1411. Perché era considerata una roccaforte dei papi Avignone fortificate. Dopo la fine delle ostilità, il palazzo a poco a poco cadde in rovina. Nella seconda metà del XV secolo, il vescovo Alain de Kotivi e il suo successore Giuliano della Rovere (che sarebbe poi diventato papa Giulio II) hanno deciso di restaurare l'edificio e nel 1503 gli ha dato forma quasi primordiale. Della Rovere è arrivato ad Avignone nel 1474, quando è stato nominato dallo zio, Papa Sisto IV, il vescovo di Avignone. Ha aggiunto sulle facciate sud e ovest in stile rinascimentale italiano e nel 1487 eresse una torre (più tardi, nel 1767 fu distrutto).

Durante la Rivoluzione francese, il palazzo divenne proprietà dello Stato, nel XIX secolo era una scuola cattolica e poi una scuola professionale. Solo alla fine del XX secolo sul territorio del palazzo è stato un museo.

Dal 1958, ospita il Museo del Medioevo. Nel 1976 ci fu aperto una galleria d'arte di opere di maestri del Rinascimento. Le 19 sale del museo, in particolare, l'opera di Sandro Botticelli, Taddeo Gaddi, Taddeo di Bartolo, Lorenzo Monaco, anche qui è la famosa "Madonna" Botticelli.