Les diverses étapes de construction du bâtiment

Lors de l'installation de la cour pontificale, vingt-quatre maisons situées à l'emplacement du musée actuel, furent attribuées (« livrée ») au cardinal Bérenger Fredol dit l'Ancien (1317-1320), grand pénitencier de Clément V. Après en avoir acheté d'autres dans le voisinage, il fit procéder à des démolitions et remodela l'ensemble pour y établir sa demeure.

En 1323, Arnaud de Via, neveu du pape Jean XXII, acheta cet ensemble aux héritiers de Bérenger Fredol pour quatre mille florins, ce qui était une somme considérable). Il s'y installa et y établit une demeure qu'il ne cessa d'agrandir jusqu'à sa mort en 1335.

Cependant, le pape Benoît XII décida assez vite après son élection de rester à Avignon plutôt que de remettre le Saint-Siège à Rome. Il convenait, dès lors, qu'il résidât dans un véritable Palais pontifical et non plus au sein de l'ancien palais épiscopal. C'est pourquoi il acheta le palais d'Arnaud de Via pour y transférer le siège épiscopal : la livrée cardinalice devint donc palais épiscopal en 1336 au terme d'un échange de propriétés.

En 1364, une phase importante de travaux fut entreprise par l'évêque Anglic Grimord, frère du pape Urbain V. C'est lui qui donna son ordonnance définitive à ce palais composé de quatre ailes autour d'un cloître, avec deux ailes supplémentaires à l'est s'appuyant sur le rocher des Doms. Le bâtiment devient alors le Petit Palais, par rapport au Grand Palais voisin.

Par la suite, l'évêque Alain de Coetivy remit les bâtiments en état en les remaniant, ajoutant un étage supplémentaire et créant l'escalier principal.
Le cardinal Julien de la Rovère, élevé à la dignité d'archevêque en 1474, s'installa au Grand Palais et fit reconstruire la façade principale et celle de l'ouest. Il fit aussi édifier une tour haute de 44 mètres au nord.

En 1650, l'explosion de la poudrière de la citadelle Saint-Martin située sur le rocher des Doms détériora gravement les partis hautes des bâtiments voisins. Mgr de Marinis dut ainsi faire reconstituer à l'identique la voûte de la chapelle privée du palais des archevêques, où il plaça une clef de voûte à ses armes. Mais les voûtes de l'aile sud-est et les tours ne furent pas réparées.

Entre 1764 et 1767, Mgr de Manzi commanda un ensemble d'aménagements au fameux architecte avignonnais Jean-Baptiste Franque. La plus importante modification consista à supprimer la dernière travée de la chapelle et à agrandir la salle principale vers l'est : cela nécessitait de prolonger la façade principale vers l'est.  Cette prolongation se fit à l'identique, phénomène rare à cette époque.
La très grande tour bâtie par Julien de la Rovère s'écroula à cette époque  la partie basse au sud du palais est encore visible).