En 1681 est bâti l'Hôtel-Dieu à l'emplacement d'un immeuble acquis par le sculpteur Antoine Balthazar Maunier. L'hôpital couvre également l'emplacement d'une maison achetée à Joseph Brun « exacteur de failles » et d'une ruelle, reste d'une voie ouverte : sous Charles II partant de l'église et aboutissant à une croix en pierre au sud de la ville. Ce n'est qu'à partir du XVIIIe siècle, que l'hôtel Dieu portera le nom d'hôpital Saint-Jacques
Il comprend, une chapelle où est dite la messe. L'hôpital est géré par des recteurs élus et entretient un personnel important : médecins, chirurgiens, apothicaires, gardiens... On y soigne les malades, mais on y recueille aussi les orphelins. Tout à côté se trouvait la Chapelle des Pénitents bleus qui étaient chargés d'inhumer les restes des suppliciés.