El 30 de juny de 1959 va ser inaugurat com a hospital, encara que aquest ús va durar menys de dos mesos. De fet, poc després, el dictador Francisco Franco, el governador civil de Lleida Alberto Fernández Galar i el president de la Diputació de Lleida Víctor Hellín Sol el van inaugurar com a Col·legi Menor, destinat a allotjar-hi estudiants barons. I és que, als anys 60, les zones rurals encara no disposaven d'instituts d'ensenyament mitjà ni d'escoles de formació professional. D'aquesta manera, la Residència Sant Anastasi acollia els joves de la província que es preparaven per anar a la universitat. 

Sens dubte, això va suposar una gran canvi educatiu i social. I atès que cada vegada hi havia més joves que estudiaven a la universitat, el Col·legi Major es va transformar en una Residència Universitària (exclusivament masculina). Fins que, el 1986, esdevé mixta. 

És a partir d'aquest moment que la Diputació de Lleida en cedeix l'ús a la Generalitat de Catalunya, quan -a la seva tradicional funció com a residència d'estudiants- el Sant Anastasi hi afegeix el paper d'Alberg de Joventut.

Es tracta d'un edifici urbà pensat, al principi, per a ús hospitalari. Amb una superficie de gairebé 4000 m2, es divideix en sis plantes. La façana pren aires neoclàssics, estil que no s'aprecia perquè, en passar a ser alberg, s'hi van instal·lar unes làmines modulars de plàstic per modernitzar-lo i protegir-lo del sol. 
Les dues columnes que s'intueixen a l'entrada són un testimoni de l'estil de la façana. Al llarg dels anys, l'estructura s'ha reformat en diverses ocasions, per adaptar les instal·lacions a les canviants necessitats dels estudiants que s'hi allotgen.