L'hôpital Saint-Jean est une fondation laïque créée vers 1180 avec l'appui du comte Henri II Plantagenêt. Le gros œuvre de la salle des malades (3 nefs, 60 m de longueur sur 22,50 m de large), le cloître et la chapelle ont été bâtis dans les deux dernières décennies du XIIème siècle. Le magnifique voûtement de la salle des malades et le grenier Saint-Jean ont été réalisés au début du XIIIème siècle.

Bien que les bâtiments annexes aient subi de grandes évolutions ou ont été détruits, l’hôpital est resté en activité jusqu’en 1865. Il fut converti en musée archéologique en 1874.

Après avoir subi d’importantes restaurations, y est présentée en 1968 la tapisserie Le Chant du Monde de Jean Lurçat. Depuis 1986 il abrite le musée de la tapisserie contemporaine.