Bonsoir,
Je vais tenter de répondre à votre question en essayant d'éviter de rentrer dans des détails trop techniques.
La notion de "potentiel vecteur" consiste à attribuer à chaque point de l'espace une certaine quantité avec une direction et un sens. Un autre exemple de "champ vectoriel" est la vitesse d'écoulement d'un fluide.
Le potentiel vecteur est physique dans le sens où il se manifeste par ses effets sur une particule électriquement chargée. Les champs électriques et magnétiques se déduisent de ce potentiel vecteur et du potentiel électrostatique. Les potentiels sont donc une notion plus fondamentale.
Cela ne signifie par pour autant que ces potentiels sont définis de façon unique! Autrement dit plusieurs potentiels peuvent donner lieu aux mêmes effets physiques. C'est peut-être la raison pour laquelle le potentiel vecteur semble a priori une notion purement mathématique.
Mais le fait que les potentiels ne sont pas uniques traduit simplement une symétrie "intrinsèque" des phénomènes électromagnétiques!
Un autre exemple de symétrie est le principe de relativité de Galilée en mécanique newtonienne: les lois de la mécanique sont les mêmes pour des observateurs en translation rectiligne uniforme les uns par rapport aux autres. Ainsi, tout comme le potentiel vecteur en électromagnétique, la vitesse d'une particule en mécanique n'est pas définie de façon unique (la loi de Newton est inchangée si on ajoute à la vitesse un "vecteur" constant). La définition de la vitesse/du potentiel vecteur nécessite de préciser un référentiel/une "jauge".
-----