Fundado por el arzobispo Juan Tomás de Rocabertí, el Colegio de San Pío V, actual Museo de Bellas Artes y sede de la Real Academia de San Carlos, tenía como objetivo principal la formación de sacerdotes. Proyectado por Juan Pérez Castiel en 1683, su ejecución se demoró hasta bien entrado el siglo XVIII.