Après le départ des franciscains de leur couvent, le provincial de l’ordre vendit en 1543, les bâtiments à la ville de Colmar. Celle-ci les transforma en un hôpital qui fut détruit par la foudre en 1735. L’hôpital fut reconstruit entre 1736 et 1744 avec les pierres des fortifications de la ville qui avaient été démantelées en 1673. L’édifice est un bel exemple de l’architecture française du XVIIIe siècle, dans le style équilibré et sobre du néo-classicisme.
A la fin du XVIe siècle, la partie ouest des bâtiments fut réservée à l’hôpital militaire. L’église Saint-Matthieu voisine, fut alors séparée en deux pour accueillir d’une part la communauté protestante de Colmar et d’autre part, servir de chapelle catholique à l’hôpital. L’hôpital militaire fut transféré aux Catherinettes en 1792, mais l’hôpital civil resta dans les bâtiments jusqu’en 1937, date à laquelle fut construit l’hôpital Pasteur, à l’ouest de la ville. Les bâtiments furent un temps occupé par deux départements d’IUT de l’Université de Haute-Alsace, avant d’être restaurés et réaménagés pour accueillir, en 2012, la médiathèque de Colmar.