Données redondantes et entropie

[fabio123]

Bonjour,

j'ai une petite question concernant la redondance de données et l'information que ça représente. Un moyen d'évaluation de la quantité d'informations que contiennent les données est évaluée avec une notion d'entropie.

1) Par exemple, si dans mon jeu de données, je n'ai que des valeurs constantes (toutes plus ou moins égales), Alors l'entropie (de Shannon ?) sera faible, est-ce le cas ?

On parle alors dans ce cas là de données redondantes, n'est-ce pas ?

2) Comment le prouver d'une manière mathématique (que l'entropie est faible) ? :

est-ce je pourrais utiliser la formule suivante :



où est la probabilité que la variable aléatoire X prenne la valeur parmi valeurs possibles.

Dans le cas où je n'ai que des valeurs toutes égales (, j'aurai alors une entropie de Shannon nulle, c'est-à-dire une information nulle.

3) Au contraire, si les données sont vraiment différentes et dispersées, j'attendrai une grande entropie : là aussi une confirmation ?

4) Dans l'univers, on dit que l'entropie ne fait qu'augmenter avec l'homogénéisation de la matière : on dit ça parce qu'il y aura de + en + de configurations possibles avec cette homogénéisation mais de quel paramètre tient-on compte quand on parle de cette entropie (qui n'est pas l'entropie de Shannon) : a priori, on pourrait penser que si l'homogénéité est complète, la position de chaque galaxie est uniformément répartie et donc représente des données redondantes. Mais là où il y a soucis, c'est que leur position n'est pas une valeur constante contrairement à ma question précedente : elles seront uniformément réparties mais pas égales entre elles.

Si vous pouviez m'aider à éclaircir ce point ?

5) Voila en conclusion tous mes petits problèmes contingents de compréhension où j'aimerais avoir de l'aide ?

Je m'intéresse à ça car je travaille sur le formalisme de Fisher qui est assimilable à de l'entropie.

Je vous remercie par avance
-----

[invite6c250b59]

1. oui 2. oui. 3. oui. 4. non (oui sans gravité, non avec gravité). 5. ici

[fabio123]

@Jiav

Pourrais-tu m'expliquer un peu plus la différence pour la question 4, à savoir la différence entre gravité et sans gravité.

1) En fait, quand l'univers devient de + en + homogène, c'est la distance mutuelle entre les galaxies qui devient la même, à cause de la distribution uniforme (l'information redondante est donc la distance mutuelle et non la position-coordonnées de chaque galaxie, en termes purement de valeurs numériques).

Cela devrait alors avoir une conséquence sur le lien entre l'entropie et le spectre de puissance "matière" (qui est la transformée de Fourier de la fonction de corrélation à 2 points), non ? qu'en penses-tu ?

2) A ce propos, on sait que la "distance privilégiée" entre galaxies dans l'univers correspond aux BAO (qui vaut je crois 150 Mpc) : là aussi, dans un futur lointain, cette distance évoluera -t-elle ? à priori oui à cause de l'expansion, mais alors, l'entropie ne cessera jamais de croître car les "distances privilégiées" ne cesseront jamais aussi de croître (à condition que l'expansion ne s'arrête pas) ?

Je fais une confusion entre entropie maximale et tendre vers une entropie maximale sans jamais l'atteindre ...

N'hésite pas à m'apporter, toi ou quelqu'un d'autre, des éclaircissements. Merci

ps : si le sujet est trop orienté astrophysique, n'hésitez pas à le déplacer sur le forum approprié, à la base, c'était pour mieux appréhender la notion d'entropie de Shannon

[invitecf48f587]

Hello,

Pour répondre à tes deux premières questions, l'entropie de Shannon correspond à l'incertitude sur une information qui t'est délivrée.
C'est à dire que si les données de ton jeu de données sont identiques, en effet il n'y a aucune incertitude sur celles ci, puisqu'il n'y a qu'une valeur possible. La donnée est donc égale à la valeur correspondante avec une probabilité 1, et ton entropie est nulle.

Dans ton premier cas, oui S = 0, mais l'information n'est pas nulle. C'est l'incertitude sur l'information qui est nulle, puisqu'elle ne peut prendre qu'une seule valeur.

Dans le cas du maximum d'entropie, il est atteint lorsque l'information est uniformément distribuée, c'est à dire si pour N valeurs possibles pour tes données, la probabilité d'obtenir chacune des N valeurs est p = 1/N . Dans ce cas ton entropie est égale à log(N), et c'est le maximum de l'entropie de Shannon. Si ton information est uniformément distribuée, tu es dans le cas où tu as le plus d'incertitude sur l'information car aucune valeur n'est plus probable qu'une autre.

[A voir en vidéo sur Futura]

[invite6c250b59]

Pourrais-tu m'expliquer un peu plus la différence pour la question 4, à savoir la différence entre gravité et sans gravité.

En deux mots, les propriétés thermodynamique d'un gaz (dont on peut négliger l'autogravitation) sont opposées aux propriétés d'un ensemble de corps liés par la gravitation. Dans le premier cas, spontanément le gaz rempli le plus grand volume possible de la manière la plus homogène possible. Dans le second cas, spontanément les corps vont s'attirer les uns les autres donc avec la plus grand hétérogénité possible entre des parties vides et des parties denses.

Sur le sujet:
https://forums.futura-sciences.com/p...ml#post4168759

[invite6c250b59]

1) En fait, quand l'univers devient de + en + homogène (...) qu'en penses-tu ?

Je suis en désaccord avec la prémisse (i.e. l'univers ne devient pas de + en + homogène, ou du moins pas tout de suite).

2) A ce propos, on sait que la "distance privilégiée" entre galaxies dans l'univers correspond aux BAO (qui vaut je crois 150 Mpc) : là aussi, dans un futur lointain, cette distance évoluera -t-elle ? à priori oui à cause de l'expansion, mais alors, l'entropie ne cessera jamais de croître car les "distances privilégiées" ne cesseront jamais aussi de croître (à condition que l'expansion ne s'arrête pas) ?

Compliqué. Cela dépend de la nature de l'énergie sombre qui est à l'origine de l'augmentation du taux d'expansion. A ce stade on peut imaginer n'importe quoi et trouver un physicien qui aura écrit un scénario qui ressemble.

[fabio123]

Salut Condma !

l'entropie de Shannon correspond à l'incertitude sur une information qui t'est délivrée.
C'est à dire que si les données de ton jeu de données sont identiques, en effet il n'y a aucune incertitude sur celles ci, puisqu'il n'y a qu'une valeur possible. La donnée est donc égale à la valeur correspondante avec une probabilité 1, et ton entropie est nulle.

Dans ton premier cas, oui S = 0, mais l'information n'est pas nulle. C'est l'incertitude sur l'information qui est nulle, puisqu'elle ne peut prendre qu'une seule valeur.

J'ai vu dans un de mes anciens livres de thermodynamiques que l'information est proportionnelle à , c'est-à-dire qu'un évènement contient d'autant plus d'informations que sa probabilité est faible.

Mais quand tu dis pour mon premier cas où les valeurs sont toujours les mêmes, on a , d'où une information : comme tu vois, avec la relation que j'ai introduite ci-dessus, on aurait une information .

Je fais visiblement une confusion entre "incertitude sur une information qui m'est délivrée" et "l'information que représente un ou des évènements" : j'aimerais approfondir ce point là.

Tu pourrais peut être m'expliquer si le fait d'avoir une entropie nulle implique forcément une information (au sens de la théorie de l'information) qui est nulle. Si ce n'est pas le cas, comme tu le suggères, ceci voudrait dire que la relation que j'ai introduite n'est pas valide ou plutôt que je l'ai mal interprétée. En tout cas, ce qui est sûr, si l'entropie est nulle, alors je n'ai pas d'incertitude sur la probabilité pour une variable aléatoire puisque celle-ci a une valeur fixe.

Merci pour tes réponses vraiment intéressantes.