Mons. Josep Caixal llegó como Obispo de la Seu y Copríncipe de Andorra en 1853. Tres meses después de su llegada, anunció su propósito de construir un seminario en la Seo de Urgel en sustitución del que ya había en el colegio de San Andrés.
Cinco años más tarde se abría ya un expediente canónico de edificación. Si la intención final como parece era crear una universidad del Pirineo, lo cierto es que se construyó, bajo la conducción de Tomás Sansón y en un tiempo bastante rápido, un edificio elegante y gigantesco, que había que dar, como mínimo, servicio a todos los seminaristas que hasta entonces habían sido dispersos por las preceptoria, casas rectorales y familias de la Seu.