A partir de 1276,Bernard de Castanet en fait une véritable forteresse. La tour Saint-Michel est rehaussée et lui est adjointe une sœur, la tour Sainte-Catherine. L'ensemble culmine à 50 mètres, tel un donjon seigneurial. Le logement est agrandi pour accueillir lesInquisiteurs chargés de détruire toute trace d'hérésie cathare.

L'édification d'une telle construction permet de protéger les évêques d'Albi, devenus les maîtres de la ville après lacroisade des Albigeois, des hostilités desCathares et des bourgeois de la ville. Elle permet aussi de se protéger d'éventuelles attaques extérieures et de renforcer la présence de l'Inquisition. Le palais est entouré de courtines et de remparts extérieurs jusqu'au Tarn.