Question sur le théorème de Shannon

[invite991f2e28]

Bon je savais pas trop où poser cette question, j'espère qu'Electronique çà ira...
Voilà, je me pose une question. Si on échantillonne un signal à temps continue avec une fréquence d'échantillonnage trop basse, de l'information est perdue (cf Théorème de Shannon) irrémédiablement (meme si on suréchantillonne derrière évidemment). Maintenant, j'aimerai comprendre comment les technqiues de compression audio, par exemple, comme le MP3 fonctionne. On prend un signal, on le divise en 32 (je crois) sous signaux (plusieurs gammes de fréquence). On les sous échantillonne, on les traite, on les suréchantillonne, et là magie, un jeu de filtre nous permet de récupérer l'info perdue lors du souséchantillonnage. Comment ce tour de passe passe (qui ne doit pas en etre un) est il possible ?
-----

[b@z66]

Bon je savais pas trop où poser cette question, j'espère qu'Electronique çà ira...
Voilà, je me pose une question. Si on échantillonne un signal à temps continue avec une fréquence d'échantillonnage trop basse, de l'information est perdue (cf Théorème de Shannon) irrémédiablement (meme si on suréchantillonne derrière évidemment). Maintenant, j'aimerai comprendre comment les technqiues de compression audio, par exemple, comme le MP3 fonctionne. On prend un signal, on le divise en 32 (je crois) sous signaux (plusieurs gammes de fréquence). On les sous échantillonne, on les traite, on les suréchantillonne, et là magie, un jeu de filtre nous permet de récupérer l'info perdue lors du souséchantillonnage. Comment ce tour de passe passe (qui ne doit pas en etre un) est il possible ?

En général, quel que soit les techniques de codage, on essaye de respecter le théorème de Shannon car sinon, comme tu dis, de l'information est irrémédiablement perdue. Les techniques de codages en général utilisent les principes suivants:
-plus une amplitude du signal est probable, plus on essaye de la coder avec un minimum de bits.
-certains signaux, comme la voix, sont plus ou moins prédictibles par rapport aux précédentes valeurs du signal. On code alors seulement les variations par rapport aux prévisions, ce qui demande moins de bits.
- il y en a sans doute d'autres, comme le filtrage des hautes fréquences(qui ne sont pas entendues par l'homme) qui correspondent à de l'information qui n'est pas utile.

Les techniques de sous-échantillonage que tu mentionnes sont en général utilisé dans un traitement en parallèle du signal par plusieurs processeurs(on distribue à chaque processeur une part égale d'échantillons issus du signal d'origine). De ce point de vue, chaque processeur traite un signal sous-échantilloné mais du point de vue de tous les processeurs(global), c'est comme si on ne sous-échantillonnait pas le signal.

[invité576543]

Si on échantillonne un signal à temps continue avec une fréquence d'échantillonnage trop basse, de l'information est perdue (cf Théorème de Shannon) irrémédiablement (meme si on suréchantillonne derrière évidemment). Maintenant, j'aimerai comprendre comment les technqiues de compression audio, par exemple, comme le MP3 fonctionne. On prend un signal, on le divise en 32 (je crois) sous signaux (plusieurs gammes de fréquence). On les sous échantillonne, on les traite, on les suréchantillonne, et là magie, un jeu de filtre nous permet de récupérer l'info perdue lors du souséchantillonnage. Comment ce tour de passe passe (qui ne doit pas en etre un) est il possible ?

Bonjour,

Tout simplement parce que, contrairement à ce que tu sembles penser, l'info perdue n'est pas récupérée. Point.

C'est le mot "information" qui pose problème. La théorie de Shannon s'occupe de l'information "brute", sans signification. Ce qui nous, humains, nous intéresse est l'information "informative", qui nous donne des renseignements, qui a un sens. Ce n'est pas la même chose.

Une analogie, en espérant que cela aide. Soit l'information pi = 3.1415926535. C'est trop long, et je cherche à le transmettre avec moins de caractères. Si on prend l'information au sens de Shannon, alors enlever n'importe quel chiffre c'est enlever la même quantité d'information. Or, quand on prend l'utilité de l'information en compte (ce qui n'est pas, je le répète, inclus dans la notion d'information de Shannon), les chiffres ne sont pas égaux: compare 3.?415926535 et 3.1416. Dans le second cas j'ai enlevé beaucoup plus d'information en quantité de Shannon que dans le premier; pourtant tout le monde considère le second cas comme plus informatif.

Application au sujet: la compression mp3 consiste à enlever de l'information (irrémédiablement perdue!), mais dans la partie non utile. Pas de magie, juste des méthodes pour reconnaître où sont les informations de "poids faibles", c'est à dire participant peu à la compréhension, au sens, de l'information.

Cordialement,

Michel

[b@z66]

Bonjour,

Tout simplement parce que, contrairement à ce que tu sembles penser, l'info perdue n'est pas récupérée. Point.

C'est le mot "information" qui pose problème. La théorie de Shannon s'occupe de l'information "brute", sans signification. Ce qui nous, humains, nous intéresse est l'information "informative", qui nous donne des renseignements, qui a un sens. Ce n'est pas la même chose.

Une analogie, en espérant que cela aide. Soit l'information pi = 3.1415926535. C'est trop long, et je cherche à le transmettre avec moins de caractères. Si on prend l'information au sens de Shannon, alors enlever n'importe quel chiffre c'est enlever la même quantité d'information. Or, quand on prend l'utilité de l'information en compte (ce qui n'est pas, je le répète, inclus dans la notion d'information de Shannon), les chiffres ne sont pas égaux: compare 3.?415926535 et 3.1416. Dans le second cas j'ai enlevé beaucoup plus d'information en quantité de Shannon que dans le premier; pourtant tout le monde considère le second cas comme plus informatif.

Application au sujet: la compression mp3 consiste à enlever de l'information (irrémédiablement perdue!), mais dans la partie non utile. Pas de magie, juste des méthodes pour reconnaître où sont les informations de "poids faibles", c'est à dire participant peu à la compréhension, au sens, de l'information.

Cordialement,

Michel

Excuse-moi, je pense qu'il parlait du théorème de Shannon au sens de l'échantillonage et non de la théorie de l'information.

[A voir en vidéo sur Futura]

[invité576543]

Excuse-moi, je pense qu'il parlait du théorème de Shannon au sens de l'échantillonage et non de la théorie de l'information.

Parce que le théorème sur l'échantillonage ne fait pas partie de la théorie de l'information?

De plus le théorème principal sur l'échantillonage, ce dont le message originel parlait, n'est pas le théorème de Shannon, mais de Nyquist... (OK, il est vrai qu'on trouve Nyquist-Shannon, mais dans le domaine, les deux théorèmes de Shannon sont différents...)

Ensuite, en quoi ma réponse n'est pas pertinente?? La compression mp3 se fait sur le flux numérique obtenu après échantillonnage (conforme à Nyquist!) et quantification. Le sous-échantillonage se fait dans le domaine numérique, et est une technique de compression numérique comme une autre...

Cordialement,

[b@z66]

Parce que le théorème sur l'échantillonage ne fait pas partie de la théorie de l'information?

De plus le théorème principal sur l'échantillonage, ce dont le message originel parlait, n'est pas le théorème de Shannon, mais de Nyquist... (OK, il est vrai qu'on trouve Nyquist-Shannon, mais dans le domaine, les deux théorèmes de Shannon sont différents...)

Ensuite, en quoi ma réponse n'est pas pertinente?? La compression mp3 se fait sur le flux numérique obtenu après échantillonnage (conforme à Nyquist!) et quantification. Le sous-échantillonage se fait dans le domaine numérique, et est une technique de compression numérique comme une autre...

Cordialement,

Le théorème d'échantillonage fait peut-être parti de la théorie de l'information (pour ce qui est du passage du continu au discret) mais ce théorème s'étudie souvent sans avoir à se taper toute la théorie de l'information (entropie et compagnie), on en a des exemples en électronique et traitement du signal.

Dans mon apprentissage, en pratique, on parle plus de théorème de Shannon pour l'échantillonnage(ou pour la condition de reconstruction) que de Nyquist (c'est peu être pas bien mais c'est ce que fait 9 personnes sur 10). Après, c'est vrai, il faut pas confondre avec "l'autre" or il me semble que c'est ce que tu as fait.

Enfin, ta réponse n'était pas pertinente car tu ne parlais pas du tout de l'échantillonage alors que c'était le sujet de la question.

[b@z66]

Dans mon apprentissage, en pratique, on parle plus de théorème de Shannon pour l'échantillonnage(ou pour la condition de reconstruction) que de Nyquist (c'est peu être pas bien mais c'est ce que fait 9 personnes sur 10). Après, c'est vrai, il faut pas confondre avec "l'autre" or il me semble que c'est ce que tu as fait.

Excuse-moi, on parle souvent de théorème de Shannon et de condition de Nyquist en échantillonage.

[invité576543]

Neuf sur dix?

Vérifies par toi-même:

http://en.wikipedia.org/wiki/Nyquist...mpling_theorem

http://mathworld.wolfram.com/NyquistFrequency.html

http://cnx.rice.edu/content/m10791/latest/

http://www.opus1.com/~violist/help/nyquist.html

http://members.aol.com/ajaynejr/nyquist.htm

J'arrête là, mais c'est loin d'être fini.

[invité576543]

Note: je ne trouve pas ta réponse #2 très satisfaisante. Mais ce n'est pas ma manière de critiquer les réponses des autres. Je préfère en proposer une autre. La personne qui pose la question a ainsi plusieurs éclairages et en tirer des informations, des pistes, des idées.

Je ne crois pas avoir écrit quoi que ce soit de faux dans mon poste, et je ne comprends pas pourquoi tu viens chercher des noises? C'est ça ton plaisir sur le forum?

Cordialement,

[invité576543]

car tu ne parlais pas du tout de l'échantillonage alors que c'était le sujet de la question.

En fait je suis intéressé par une explication claire de ta part répondant à la question, et cela aidera celui qui a posé la question. Il faudra préciser de quels sous- et sur-échantillonnages on parle dans mp3. Quelle information est perdue, comment l'info perdue est-elle récupérée. Cela répondra exactement au sujet de la question, et ces informations manquent dans ton poste #2.

Cordialement,

[b@z66]

Note: je ne trouve pas ta réponse #2 très satisfaisante. Mais ce n'est pas ma manière de critiquer les réponses des autres. Je préfère en proposer une autre. La personne qui pose la question a ainsi plusieurs éclairages et en tirer des informations, des pistes, des idées.

Je ne crois pas avoir écrit quoi que ce soit de faux dans mon poste, et je ne comprends pas pourquoi tu viens chercher des noises? C'est ça ton plaisir sur le forum?

Cordialement,

Excuse-moi encore une fois, mais mon intervention dans le post #3 avait juste pour but de montrer que tu avait répondu un peu à coté de la plaque: le thème de la question était l'échantillonage, tu réponds shanon et quantité d'information. Alors, effectivement, si tu veux apporter un nouveau éclairage, pourquoi pas, mais il n'empêche que ta réponse était assez éloignée de la question. C'est juste un constat et assez évident en plus que j'ai fait. Par contre, si après tu prends la mouche, c'est ton problème...

Quant au fait que l'on appele le théorème d'échantillonage avec "de Shannon" ou "de Nyquist-Shannon", je pense que c'est assez pointilleux et mesquin comme interrogation comme ce n'était, de plus, pas le sujet de mon intervention première et que c'est toi qui a voulu introduire cette question. Je te répondrai sans te citer d'exemple que sur google en tapant "théorème shannon" et "théorème nyquist", tu trouves plus de théorème de Shannon qui concerne l'échantillonage que de théorème de Nyquist même si entre les deux s'intercalent le théorème de Nyquist-Shanon. Enfin, de par mon expérience, effectivement, 9 personnes sur 10 utilisent le théorème de Shannon pour l'échantillonage. Mais on peut faire un sondage si tu veux ?
De toute manière, la véritable question ne se trouve pas là. Elle se trouve dans le fait que dans l'intervention de RevilO, le théorème de Shanon évoquait de façon plus qu'évidente l'échantillonage. Alors quand tu parles des noises que je cherche, tu me fait rire avec tes histoires de Nyquist et de Shanon...
Quant à ma réponse dans le post 2, je te prépares une réponse plus complète si tu veux.

[b@z66]

Je pense que Reivilo faisait allusion à la technique du banc de filtre, c'est pourqoi, pour mon explication, je vais me baser sur le schéma ci-dessus. Pour les détails mathématiques, je conseille "Signaux et Images sous Matlab" qui décrit bien la technique.

Ce qui intrigue Reivillo, c'est qu'il pense que les sous-échantilloneurs du schéma ci-dessus(boite avec la flèche vers le bas) enlèvent de l'information à la globalité du signal or cela est faux puisqu'ils n'enlèvent même pas d'information au signal filtré qui est passé dans leur propre branche. Il faut à ce niveau là voir les caractéristiques du signal filtré qui est sous-échantillonné. Les filtres de transformée en Z G_n (z) ont pour rôle d'extraire de l'information appartenant à différente bande de fréquence pour la passer aux décimateurs(sous-échantilloneurs). La somme de l'information extraite par chaque filtre G_n correspond à la totalité de l'information contenu dans le signal d'origine. Ce qui peut paraitre surprenant et qui justifie le sous-échantilonnage, c'est qu'en enlevant de l'information, les filtres donnent à leur sortie le même nombre d'échantillons qu'en entrée (si on attribue une quantité d'information moyenne à un échantillon, cela voudrait dire que l'information est conservée entre l'entrée et la sortie du filtre, ce qui n'est pas le cas). On explique cela en considérant qu'une partie des échantillons en sortie des filtres G_z contiennent une information redondante par rapport à l'autre partie des échantillons présentes à cette sortie. Le fait de sous-échantillonner revient donc juste à enlever cette information redondante qui avait été conservée par le filtre. En conséquence, les sous-échantilloneur suppriment juste l'information redondante alors que c'est les filtres qui eux "filtrent" vraiment l'information. Après le traitement en sous-bandes, l'information qui avaient été décomposé par les filtres G_z puis traitée peut à nouveau être reconstituée par le banc de synthèse qui joue un rôle inverse à ce que je viens d'expliquer.

Pour l'utilité du truc, je sais qu'on le rencontre pour faire du traitement numérique du signal avec plusieurs processeurs qui peuvent ainsi se partager la tâche ou sinon, dans la transformée en ondelette, où on extrait aussi de l'information relative à différente échelle. Enfin, si vous dites que ça sert en Mp3, c'est que ça doit être vrai.

J'éspère que j'ai satisfait votre curiosité mmy et ReivilO.

[b@z66]

J'ai du faire une erreur en considérant que les sous-échantilloneurs n'enlevaient pas d'information à la différence des filtres(surtout si la fonction de tranfert est inversible) donc je corrige mon erreur en disant que les sous-échantillonneurs doivent aussi enlever de l'information. Mea culpa, mais cela n'enlève rien au fait que la somme de l'information relative à chaque branche (avant le traitement) correspond bien à l'information d'origine. Voilà. Je conseille le bouquin cité plus haut pour les détails mathématiques.

[invité576543]

Bonjour,

La technique montrée ne contient pas, à ma connaissance, de sous-échantillonage. Dans une analyse en sous-bandes, on ré-échantillonne le résultat de chaque filtre passe-bande à cause de Nyquist, justement.

Quand le filtrage passe-bande est fait en numérique, le filtrage donne un résultat au même rythme que le signal complet, donc bien au-dessus la limite de Nyquist. On échantillonne alors le résultat du filtrage à la valeur minimum, deux fois la bande du filtre.

Il n'y a, cause théorème de Nyqusit, aucune perte d'information par ce sous-échantillonnage qui n'en est pas un.

Dans le décompresseur, on aura l'opération inverse, un sur-échantillonnage de chaque signal de bande pour pouvoir les additionner ensemble.

Effectivement, si c'était cela la question, ma réponse n'était pas suffisante.

Maintenant, mp3 fait bien perdre de l'information. Mais ce n'est pas par sous-échantillonage de quoi que ce soit. On va chercher les poids faibles, ce qui n'apporte pas d'information au sens information utile, dans chaque signal de sous-bande... A l'image de ce que je racontais.

Cordialement,

[invité576543]

Bonsoir,

Que ce soit les derniers postes de bz ou le mien, à les relire, ce n'est pas clair.

Point 1: Il n'y a pas de "sous-échantillonnage" au sens où un signal serait échantillonné à un rythme inférieur à la limite de Nyquist. Donc aucune perte d'information par sous-échantillonnage. Les boîtes M flêche vers le bas échantillonne au rythme adapté à la sous-bande. Le signal analogique que l'on reconstruirait avec les échantillons après la boîte est le même (à la qualité du filtre près) que celui que l'on reconstruirait avec les échantillons avant la boîte.

Point 2: Le nombre d'échantillons total est inchangé si on regarde bien. Si la bande est divisé en 32 bandes de taille égale, chaque sous-bande est ré-échantillonné au 32ème, et le nombre d'échantillon est 32/32 ceux avant filtre, c'est à dire le même nombre.

Point 3: Les échantillons de chaque sous-bande sont plus ou moins compressés, selon l'importance (puissance) du signal de sous-bande. Cela amène une perte d'information, et les signaux de sous-bande avec l'additionneur final ne sont pas identiques au signaux origines: c'est là qu'est perdue l'information. Mais la méthode ne fait perdre que de l'information non informative, la nuance étant celle que je cherchait à expliquer dans ma première réponse (et c'est le principe de toute compression destructive!)

En espérant que cela devient plus clair.

Cordialement,

[b@z66]

Bonjour,

La technique montrée ne contient pas, à ma connaissance, de sous-échantillonage. Dans une analyse en sous-bandes, on ré-échantillonne le résultat de chaque filtre passe-bande à cause de Nyquist, justement.

Rééchantilloner un signal déjà échantillonné, c'est pour moi du sous-échantillonage. Dans le bouquin auquel je me refère, l'auteur en parle également comme ça (ou décimation).

Quand le filtrage passe-bande est fait en numérique, le filtrage donne un résultat au même rythme que le signal complet, donc bien au-dessus la limite de Nyquist. On échantillonne alors le résultat du filtrage à la valeur minimum, deux fois la bande du filtre.

Donc pour toi, ma première interprétation était la bonne (bonne nouvelle pour moi finalement). Effectivement si on utilise des filtres passe-bande qui ont une fonction de transfert nulle en dehors de la bande passante (filtre AR), il est difficile de les inverser et ils font perdre effectivement de l'information.

Il n'y a, cause théorème de Nyqusit, aucune perte d'information par ce sous-échantillonnage qui n'en est pas un.

Je te remercie. Tu confirme donc que ma première interprétation était la bonne. On peut donc simplement interpréter la batterie des filtres comme des filtres anti-repliement.

Dans le décompresseur, on aura l'opération inverse, un sur-échantillonnage de chaque signal de bande pour pouvoir les additionner ensemble.

J'étais aussi d'accord la-dessus.

Effectivement, si c'était cela la question, ma réponse n'était pas suffisante.

Si on est d'accord la-dessus, c'est bien puisque c'était le point central de mon intervention tout à l'heure.

Maintenant, mp3 fait bien perdre de l'information. Mais ce n'est pas par sous-échantillonage de quoi que ce soit. On va chercher les poids faibles, ce qui n'apporte pas d'information au sens information utile, dans chaque signal de sous-bande... A l'image de ce que je racontais.

Pareil pour moi, je n'ai jamais dit que les bancs de filtres faisaient perdre de l'information (pour ce qui est de la partie hors-traitement je dit), c'était justement le sujet évoqué par Reivilo.

[invité576543]

Je te remercie. Tu confirme donc que ma première interprétation était la bonne. On peut donc simplement interpréter la batterie des filtres comme des filtres anti-repliement.

Oui pour ta première interprétation. Mais je ne comprends pas ce que l'anti-repliement vient faire là. Dans une technique par sous-bande, ce sont des filtres passe-bande: ils virent l'information ayant son énergie dans les autres bandes, pas le repliement de la bande filtrée???

Cordialement,

[b@z66]

Oui pour ta première interprétation. Mais je ne comprends pas ce que l'anti-repliement vient faire là. Dans une technique par sous-bande, ce sont des filtres passe-bande: ils virent l'information ayant son énergie dans les autres bandes, pas le repliement de la bande filtrée???

Cordialement,

Je disais cela car pour que l'échantillonage du signal discret (ou sous-échantillonage si on veut) ne fasse pas perdre d'information, il faut limiter au préalable la bande-passante du signal discret lui-même à la moitié de la fréquence d'échantillonage de l'échantillonneur qui suit mais effectivement j'ai maintenant un doute sur le fait qu'un filtre numérique puisse faire cela. Où est le problème?

[b@z66]

En fait, ce qui me dérange c'est qu'on raisonne avec des passe-bandes. Tu as dit dans un de tes précédents posts que l'on sélectionnait la bande-passante des filtres de telle sorte qu'elles valent exactement la moitié de la fréquence d'échantillonage mais ce raisonnement n'est-il pas fait habituellement avec des filtres passe-bas? Et si il y a un truc, comment fait t'on passer la bande passante de ces filtres en bande de base?

[invité576543]

Je disais cela car pour que l'échantillonage du signal discret (ou sous-échantillonage si on veut) ne fasse pas perdre d'information, il faut limiter au préalable la bande-passante du signal discret lui-même à la moitié de la fréquence d'échantillonage de l'échantillonneur qui suit mais effectivement j'ai maintenant un doute sur le fait qu'un filtre numérique puisse faire cela. Où est le problème?

Il n'y a pas de problème. Personnellement, je préfère voir les choses dans l'autre sens. Chaque filtre passe-bande extrait du signal d'origine la partie de l'énergie correspondant à la bande qu'il passe. Cette bande étant plus petite que celle d'origine, la fréquence d'échantillonnage suffisante est plus petite et on peut décimer sans perte.

Il y a, indépendamment de tout échantillonnage, plus d'information dans le signal d'origine que dans chaque signal sortant d'un des passe-bande. L'information totale est conservée parce que l'union des bandes des filtres = la bande d'origine.

Cordialement,

[invité576543]

En fait, ce qui me dérange c'est qu'on raisonne avec des passe-bandes. Tu as dit dans un de tes précédents posts que l'on sélectionnait la bande-passante des filtres de telle sorte qu'elles valent exactement la moitié de la fréquence d'échantillonage mais ce raisonnement n'est-il pas fait habituellement avec des filtres passe-bas? Et si il y a un truc, comment fait t'on passer la bande passante de ces filtres en bande de base?

Comprends pas. Ou alors cela correspond à une présentation que j'ai vu à plusieurs endroits qui présente Nyquist en disant que l'échantillonnage doit être le double de la fréquence la plus élevée, d'où cette vision passe-bas. Mais le th. de Nyquist-Shannon s'applique à toute bande finie, qu'elle parte de 0 ou non.

Sinon, pour faire passer un signal à bande limitée autour de f à un signal en bande de base, on le multiplie par , et on filtre la partie image. (Application de 2cos(a)cos(b) = cos(a-b) + cos(a+b) : la différence donne le signal en bande de base, la somme donne une image autour de 2f, que l'on vire...)

Mais l'échantillonnage fait cette transformation par lui-même. C'est lors de la restitution du signal de sous-bande qu'il faut recréer la porteuse (les H_m dans ton dessin). Une manière de voir est justement le repliement: si les échantillons sont vus comme des dirac, on obtient le signal replié à l'infini, sur toutes les harmoniques. H_m peut être vu comme une sélection la partie correspondant la sous-bande m. En pratique, on choisit la réponse impulsionnelle H_m correspondant à la sous-bande....


Cordialement,

[b@z66]

Comprends pas. Ou alors cela correspond à une présentation que j'ai vu à plusieurs endroits qui présente Nyquist en disant que l'échantillonnage doit être le double de la fréquence la plus élevée, d'où cette vision passe-bas. Mais le th. de Nyquist-Shannon s'applique à toute bande finie, qu'elle parte de 0 ou non.

Mon problème se trouvait bien là, c'est à cause de l'habitude prise avec la plupart des cas usuels que je ne m'étais pas rendu compte que seule la bande passante importait, comme quoi on en apprend tout les jours même avec des théorèmes que l'on pense pourtant connaître à fond.

Pour le restant de ce que vous avez écrit, je suis parfaitement d'accord.