Al segle XV, la fundació de l'orde dels pares predicadors dominics va alçar el convent de Sant Jaume de Pallars, just a l'altra banda d'on hi havia la vila emmurallada de Tremp, i separat d'aquesta pel barranc de la Font Vella. Per salvar aquesta distància es va construir un pont de pedra gràcies al qual, amb els anys, la distribució de la ciutat prendria noves formes atès que en determinaria el creixement per la banda del convent. 

Inaugurat el 1496, el convent es va edificar a partir de la zona meridional de l'església. Sovint, donaven aliment a tots els malalts de la vila i els frares s'encarregaven d'ensenyar i servir mestres i deixebles. Però el 1835, a causa dels aldarulls i cremes de convents que hi va haver arreu de Catalunya, va ser necessari desallotjar-lo. Al cap d'un temps d'haver estat abandonat, el convent de Sant Jaume va ser enderrocat. A partir del 1837, les runes van servir per reconstruir la muralla de la ciutat i per arranjar carrers i camins. Després d'haver estat sota tutela de diversos personatges, aquell paisatge en ruïnes tornava a fer servei. El pare Manyanet va comprar les terres amb la intenció d'augmentar l'oferta escolar de la comarca. Finalment, però, el projecte no va reeixir i es va vendre el terreny a Ramon Aytés. 

El 1902, en morir aquest nou propietari, la seva vídua, Teresa Mir, ho va traspassar als marmessors1 de Francesc Llinàs. Francesc Llinàs era un trempolí que tenia la ferma voluntat de crear un centre d'acollida per a gent sense recursos. Aquest projecte no va veure la llum en vida d'en Llinàs, però va quedar manifest al seu testament. Així, el 1903, Àngel Sala i Josep Riu -els seus marmessors- van construir la Casa dels Pobres als terrenys que els havia cedit Teresa Mir. 

Àngel Sala va lliurar a l'ajuntament la proposta de cessió de l'edifici a la ciutat; el 1921 es va formalitzar el traspàs de la Casa i dels seus terrenys. Un cop a mans del consistori, va continuar funcionant com a Casa dels Pobres. Fins que, el 1940, es van regular les normes de funcionament de la Casa, de manera que qualsevol transeünt sense recursos s'hi pogués aixoplugar. En aquella època, aquesta instal·lació també feia les funcions de presó comarcal i de dipòsit de detinguts, que després es traslladaven a la presó de Lleida. La gestió d'aquest centre penitenciari anava a càrrec de la família Sorando. Es pot dir que era una "presó familiar" perquè podien arribar a tractar els presos com un més de la família. Per norma, preparaven el menjar especial per als presoners (entrepans). 

Però, molts cops, la senyora Sorando feia menjar de més i, d'allò que menjava la família, el fill (Carles Sorando Vidal) els en portava un plat. Pel que fa a la gestió de la Casa dels Pobres, també anava a càrrec d'aquesta família, però era el capellà del poble qui decidia quant de temps s'hi podia quedar cadascun dels necessitats. Expedia un val en què s'indicava que podien menjar i dormir durant un, dos o tres dies. En aquells anys l'edifici s'anomenava La Casa del Rotllet. 
No hi va haver cap canvi fins al 1970, quan l'edifici es va habilitar com a alberg municipal. A finals dels 80, després del tancament de l'alberg municipal i la presó, s'hi instal·la l'Escola Taller del Pallars Jussà. Gràcies a aquesta iniciativa es restaura l'edifici per adequar-lo a l'ús docent. El 1999, pocs anys després de la seva clausura, s'aprova un projecte de remodelació per convertir-lo en una instal·lació vinculada al Museu de Ciències Naturals i, al mateix temps, s'utilitza com a refugi per a geòlegs que vénen a investigar, estudiar i treballar al Pallars. 

El 2005, però, un cop finalitzades les obres, l'ajuntament el transforma en Alberg de Joventut del Pallars León Sorando. 

1. El marmessor és la persona nomenada pel causant per tal que tingui cura de complir i d'executar la seva darrera voluntat.

El 2006 l'alberg va acollir la primera edició de Miss i Mister Catalunya.

El 18 de maig del 2005 s'inaugura, i per Setmana 
Santa, obre portes. Una curiositat referent a la 
inauguració va ser que encara no hi havia instal·lades 
les portes de les habitacions.

L'alberg consta de dos edificis: el central, l'antiga casa dels pobres rehabilitada, de planta quadrada i dos pisos; i l'edifici annex,Construït entre 1999 i 2005, de planta rectangular i dos pisos d'alçada, on ara hi ha els serveis i més habitacions. Aquesta edificació va a càrrec de la brigada municipal de Tremp i és el mateix consistori que bateja l'alberg amb el nom del patriarca de la família Sorando.