Ces terrasses, aujourd’hui transformées en jardin, laissent voir quelques murs rasés, maigres restes de la résidence des évêques de Comminges, qui se maintint, adossée à la cathédrale, cinq siècles durant.

Implantée sur terre-plein qui fut sans doute le support d’édifices publics antiques, la première maison épiscopale, celle de Bertrand de l’Isle, ne laisse rien paraître de ses installations. Le mur de façade, percé de deux étroites fenêtres romanes (conservées dans le sous sol des Olivétains), qui ferme au nord l’ensemble canonial, en est la seul trace apparente. Ce palais qui subit d’importantes transformations dès le XIIIème siècle, s’est maintenu, au gré de ses modifications, sur le flanc nord de l’église jusqu'à la fin du XVIème siècle.

C’est en 1594 que les ravages successifs des guerres de religion eurent raison de la demeure des évêques. Le transfert en 1619, du palais épiscopal dans deux maisons situées de part et d’autre de la porte Cabirole scelle l’histoire de ces lieux.