À la fin du XIIIe siècle, une vaste enceinte fortifiée ceinture la ville nouvelle voulue par Charles II d'Anjou.
Elle englobe une première muraille plus restreinte qui existait déjà au
XIIe siècle. Jusqu'au siècle dernier, la ville était ceinturée de murailles qui surplombaient des fossés ; ces derniers faisaient partie des "régals pPopriété des Comtes de Provence.
Dans leur dernier état ces remparts comportaient 19 tours et 5 portes détruites au XIXe siècle il n'en subsiste aujourd'hui que cette portion et une tour carrée à l'angle nord-est du couvent. Les premiers éléments de fortification dateraient du bas-empire romain, mais c'est en 1306, sous Charles Il d'Anjou, que les remparts adoptent leur tracé définitif.
Détruits lors du sac de la ville en 1357, les remparts sont reconstruits durant tout le XIVe siècle et consolidés au XVe et XVIe siècles, après le siège mis par Charles de Bourbon et les impériaux, alliés de Charles Quint, venus revendiquer le titre de Roi d'Arles, puis, durant les guerres de religion, par les ligueurs.
La résistance de ses habitants vaudra à la ville d'ajouter une fleur de lys à son écu.