Saint-Martin était, au Moyen Age, un village fortifié. L'accès au village était possible uniquement par l'une de ces portes, la porte Sainte-Anne étant la seule qui subsiste encore de nos jours.
Une légende raconte qu'on fermait les portes la nuit pour se protéger des loups.