Fue fundado en 1583 por el obispo Antonio Mauricio de Pazos y Figueroa en el mismo solar donde ahora se encuentra, aunque en sus inicios las instalaciones eran más modestas. Fue ampliado en los siglos XVII, XVIII y XIX.
A finales del siglo XVII incorporó las cátedras de Filosofía y Teología y, en el XIX, los cánones de latinidad, completando así los estudios de carrera eclesiástica.
Durante la ocupación francesa fue utilizado como parque de artillería y, en los años de la Guerra Civil, cuartel y hospital de sangre.
Hoy día, es residencia del obispo y sacerdotes mayores, mientras que la formación de los seminaristas se ha trasladado a otro edificio en el norte de la ciudad.

