Manresa va viure el seu període de màxima esplendor al segle XIV. De fet, aquest "gran segle" és una època de creixement econòmic, demogràfic i urbanístic. En aquells anys es van alçar moltes obres civils, com el Pont Nou o la Sèquia de Manresa, i també obres religioses d'estil gòtic com la Seu, a banda de diverses esglésies, convents i monestirs. 

En aquest context d'expansió, el 1306, el Consell de la ciutat va demanar als frares carmelites que s'instal·lessin a l'actual capital del Bages. Van trigar dos anys a decidir que hi anirien i que farien el seu convent al turó del Puigmercadal. Finalment, el 1311, ja havien acabat la construcció i van habitar el convent. Però el conjunt arquitectònic també incorporava l'església del Carme, construïda el 1322 per Berenguer Montagut1, i un claustre on, el 1346, encara s'hi estava treballant. El convent del Carme sempre ha estat molt lligat a la vida de la ciutat i a la seva història, fins al punt que va sorgir una festivitat manresana dedicada a un miracle que suposadament es va produir el 1345 a dins de l'església del Carme: la Festa de la Misteriosa Llum2. 

Al segle XVIII, durant la Guerra de Successió, Manresa va ser ocupada i incendiada per l'exèrcit borbònic. Posteriorment, pel que fa al convent, se'n va enderrocar el claustre gòtic; i, al seu lloc, se'n va alçar un de neoclàssic, tot aprofitant el material de la construcció anterior. 

De fet, els frares es van estar al Carme fins a principis del segon terç delsegle XIX, quan -a causa de les enormes tensions derivades de la "primera carlinada" o "Guerra dels Set Anys"- les comunitats religioses de tot Catalunya van abandonar el país, just abans de la famosa crema de convents de l'estiu de 1835. Poc després, l'edifici va passar a ser propietat de l'Ajuntament de Manresa, que el va fer servir d'escola pública per anens i nenes. 

El 1936, amb la Guerra Civil, l'església que formava part del complex va tornar a ser enderrocada; però, més tard, es va reconstruir. El fet d'haver estat enderrocada i reconstruïda diverses vegades fa que, actualment, l'església sigui una amalgama de diferents tendències i estils arquitectònics, combinats d'una manera especial. De fet, després de la guerra, les tropes franquistes la van arribar a utilitzar com a caserna militar, fins que, el 1965, va retornar a mans de l'ajuntament. 
A partir d'aquest moment, l'edifici del convent del Carme es va utilitzar com a magatzem municipal i altres serveis. Finalment, el 1990, l'antic monestir necessita unes importants obres de remodelació a causa del mal estat en què havia quedat pels estralls de la història. D'aquest conjunt arquitectònic només el convent es converteix en l'Alberg de Joventut Manresa Xanascat, que també funciona com a residència d'estudiants. 

1. Arquitecte de la Seu de Manresa, Santa Maria del Mar de Barcelona i la Seu de Mallorca. 
2. Diu la tradició que, el 21 de febrer de 1345, es va veure una estranya llum procedent de Montserrat que entrava a l'església del Carme, fet que va coincidir amb el repic de les campanes, que va començar a sonar soles. Va caldre aquest miracle perquè el bisbe de Vic autoritzés les obres de la Sèquia i, així, poder pal·liar els efectes d'una sequera terrible.

L'edifici emmarcat dins el convent del Carme ha estat remodelat considerablement per acollir-hi l'alberg. Amb aquesta rehabilitació es va enderrocar una de les ales i un pis sobreafegit que es trobaven molt deteriorats. Per altra banda, es va construir un cos nou, l'actual auditori. L'estructura del conjunt de les instal·lacions es caracteritza per la seva forma d'ela, amb murs molt gruixuts i obertures simples. Hi destaca la torre, des d'on es divisen Montserrat i els Pirineus. 

El 1995, les modificacions parcials de l'edifici permeten que es destini una part de l'equipament a la residència d'estudiants.