On rencontre aussi ce genre de difficulté en mécanique quantique et ses prolongements (et que dire quand on marie ça à la RG).
Il semble que ce soit une difficulté lié au fait que ce ne sont plus des théories qui décrivent des phénomènes faisant partie de notre vie au quotidien (comme cela pouvait être en grande partie avec la mécanique classique, l'optique,...). Et notre vie au quotidien ne représente qu'une facette des possibilités de la nature (et donc notre cerveau est câblé pour cette facette).
Ca a commencé certainement avec l'électromagnétisme et la physique statistique.
D'ailleurs beaucoup de physiciens ont eut aussi du mal (historiquement) avec les changements de paradigmes du classique vers le "non classique" (au sens relativiste et/ou quantique). Même les pères fondateurs (par exemple, Planck a longtemps refusé de considérer que c'est le champ électromagnétique qui était quantifié, et c'est loin d'être un exemple unique).
Bien entendu, les mathématiques ne sont qu'un langage, adapté car quantitatif et rigoureux (tout le monde risque de ne pas être d'accord, j'ai lu plusieurs fois que certains physiciens considèrent que dans certains domaines les mathématiques dépassent le cadre de simple langage). Malheureusement, il faut bien dire que ce langage est plus difficile à apprendre que les langues étrangères (*)
Il reste que c'est un langage et qu'il est bien normal d'apprendre la langue dans laquelle est rédigée une prose dont la sémantique dépend fortement du langage employé.
(*) quoi-que là aussi ça dépend, j'ai eut plus facile d'apprendre la géométrie différentielle que d'apprendre le suédois, et le néerlandais qui est une langue de mon pays, je n'ai jamais réussi à l'apprendre, et l'anglais je le lis presque couramment mais je suis totalement incapable de le parler, je me rappelle toujours le fou rire de la serveuse d'un pub lorsque je lui ai demandé two beer en prononçant two bear
-----