L'edifici que acull El Centre Picasso és l'Antic Hospital, un edifici renaixentista, contruït l'any 1580 per l'Ajuntament a fora de muralla. Estava destinat a acollir malalts pobres i transeünts.
Al l'interior, a la primera planta, hi havia una capella dedicada a la Mare de Déu dels Desemparats. L'any 1837, durant les guerres carlines, va ser incendiat i més tard restaurat.
Fins l'any 1985 fou caserna de la guàrdia civil. Després d'una total restauració, s'obrí al public l'any 1992, com a seu del Centre Picasso