L’origine du nom de la «Porte de la Double» demeure inconnue. La porte elle-même débouche sur une rue qui donnait accès au château médiéval.
Cette partie des remparts et la tour crénelés datent du XIIe siècle. La tour permettait d’accéder au chemin de ronde dont on voit les traces à l’intérieur des remparts.
Ces remparts étaient ouverts par quatre portes, celle de « la Double », le Portail Neuf au débouché de la Grande Rue, le Portail de l’Horloge à peu près à l’emplacement de la Tour de l’Horloge et la Porte de l’Argentière.
La Porte de la Font à l’entrée de la grande rue fait, elle, partie d’une enceinte érigée au XIVe siècle pour agrandir la ville.
Lors de la construction de la voie ferrée (de 1853 à 1855), les matériaux nécessaires au ballast ont été extraits du flanc du coteau, le long du rempart qui rejoint les restes du château féodal. D’où le nom de «la Gravière» donné à la rue qui longe les maisons adossées à la partie inférieure du rempart.