Oui on pourrait le dire comme çà, sauf que c'est un peu sévère a mon gout. Dans le même esprit je préfère dire que les mathématiques sont le langage naturel des physiciens. Un physicien n'a pas a se préoccuper du fonctionnement du langage (c'est le boulot des mathématiciens) pas plus qu'un romancier ne se préoccupe des théories linguistiques (c'est le boulot des linguistes).
Pour réutiliser ton analogie et la mienne. On pourrait dire qu'un aveugle sans canne est aussi démuni qu'un physicien sans langage mathématiques.
-----