Au cours du XIVe siècle, l'édifice n'évolue pas : l'épidémie de peste a dépeuplé les campagnes et affaibli les finances de la ville. C'est à partir de 1474 queLouis Ier d'Amboise, grâce à sa fortune personnelle et sa connaissance des artistes proches du pouvoir, fait réaliser des travaux importants. La courtine de l'est est remplacée par des bâtiments à la mode de la Loire, (toiture d'ardoise entre autres) le donjon partiellement démantelé, la place d'armes remplacée par unjardin à la française et les remparts dominant le Tarn réduits pour devenir une promenade. Son œuvre est prolongée par son neveu,Louis II d'Amboise.

En 1905, le palais abrite le musée d'Albi. Après la mort du peintreHenri de Toulouse-Lautrec en 1922, il devient lemusée Toulouse-Lautrec, abritant de nombreuses œuvres de l'artiste.

Le palais est classé au titre desmonuments historiques en 1862 ; certains décors intérieurs le sont le 14 septembre 1965. En 2010, il est inclus avec la cathédrale Sainte-Cécile dans le site de lacité épiscopale d'Albi, inscrite en 2010 par l'UNESCO sur la liste dupatrimoine  mondial.