Al posto dell'attuale Museo Calvet era in precedenza la residenza di un cardinale - Livre de Cambrai, così chiamata in onore di una volta ha vissuto qui D'ayli Pierre Cardinal, vescovo di Cambrai. Nel 1719 l'edificio fu venduto a Francois-René de Villeneuve, il marchese de seigneur d'Arzele e Martignano.

Nel 1734 il figlio Jacques-Ignace de Villeneuve ha deciso di ampliare le loro aziende e costruire un nuovo palazzo. Costruzione fu iniziata sotto la direzione di Thomas Lainé, ma poi cambiò i suoi architetti Jean-Baptiste Francesco Frank e Frank. I lavori di costruzione fu completata solo nel 1749. Nel 1802, ha comprato una casa Deletro mercante, che a sua volta consegnato l'edificio di affittare autorità Avignone per posizionare la collezione qui Esprit Calvet. 3 marzo 1833 l'edificio fu acquistato dal Comune di Avignone per il museo. Su 1 ottobre 1963 casa di città Villeneuve-Martignano nella lista dei monumenti storici di Francia.

Ospita una delle più grandi collezioni di dipinti in Francia. Raccogliere collezione iniziato un medico locale (numismatico, bibliofilo e archeologo) Esprit Calvet, e più tardi, nel 1810, lasciò in eredità la sua collezione di dipinti al museo e una biblioteca. Allestimenti museali sono opere d'arte applicata, sculture, porcellane, ma dipartimento di pittura molto interessante, che copre il periodo che va dal XVI al XX secolo - da Vasari e Luca Giordano a David, Corot, Manet, Bonnard e Soutine.

Qui, nella casa di città di Villeneuve-Martignano, a cui si sono aggiunti agli edifici moderni, è la collezione principale. Biblioteca, Calvet e raccolto una significativa raccolta di quasi 12 000 monete e medaglie sono stati spostati in altri luoghi.