Quel est le lien entre l'entropie et l'information??

[alexmuch]

Salut tout le monde. Voila je rentre en 2e année de prépa (MP), et je voudrais tenter de consacrer mon TIPE à l'étude de la relation entre l'information et l'entropie...cependant, diverses questions se présentent à moi: quel est précisément cette relation, ce sujet peut-il permettre de faire un bon tipe????
Merci d'avance pour votre aide.

[Rincevent]

Déplacé en physique.

[citron_21]

salut,
l'entropie étant la mesure du désordre, elle renseigne donc parfaitement sur l'état d'ordre du système (phase dans laquelle il se trouve, ou alors transformation qui tend vers un état plus ou moins ordonné).
Cela constitue une information

[Deedee81]

Voila je rentre en 2e année de prépa (MP), et je voudrais tenter de consacrer mon TIPE à l'étude de la relation entre l'information et l'entropie...cependant, diverses questions se présentent à moi: quel est précisément cette relation, ce sujet peut-il permettre de faire un bon tipe????

Salut,

Oui, il y a certainement matière à tipe.

Pour la relation, le lien entre :
http://fr.wikipedia.org/wiki/Entropie_de_Shannon
et
http://fr.wikipedia.org/wiki/Entropi...ue_statistique
est évident si tu identifies l'information aux configurations microscopiques que peut prendre le système.

Et il y a pas mal de sujet annexes, comme dans
http://fr.wikipedia.org/wiki/D%C3%A9mon_de_Maxwell
(voir à la fin de l'article)

[humanino]

Bonjour,

facile de donner des definitions pour l'entropie, mais quelle definition donnes-tu pour l'information ? A priori, si tu cherches un lien entre les deux, elles devraient etre definies d'abord et reliees ensuite. L'entropie est usuellement comprise comme un manque d'information, ce qui definit l'information en quelques sortes, mais ce n'est pas franchement utile. Tu peux approfondir avec une definition statistique plus precise et generale de l'entropie mais cela n'aide guere je crois. Ce qui est porteur (me semble) c'est le concept de complexite. Mais peut-etre suis-je quelques annees en retard.

Maintenant, l'information est bien definie au niveau quantique. La ca devient encore plus interessant me semble-t-il, plus theorique, et peut etre trop difficile.

[Deedee81]

facile de donner des definitions pour l'entropie, mais quelle definition donnes-tu pour l'information ? A priori, si tu cherches un lien entre les deux, elles devraient etre definies d'abord et reliees ensuite.

Si information = nombre de bits nécessaire pour décrire la configuration microscopique (à configuration macroscopique donnée), alors information ~ entropie. C'est aussi l'information au sens de Shannon.

Mais tu as raison il y a aussi des liens avec la complexité (intéressant) et le quantique et les trous noirs (ces deux derniers cas risquent fort d'être trop complexe).

Et tu as raison en disant qu'il faut être précis dans les définitions. Les termes informations et désordre sont souvent trop vagues voire trompeurs. Mais ça peut aussi faire le sujet d'une partie du tipe (définition de désordre, d'information, points communs et différences avec les notions communes,...)

Au fait, je suis pas Français, alors, la 2ème année prépa, c'est quoi ? (ou quel âge)

[invité576543]

est évident si tu identifies l'information aux configurations microscopiques que peut prendre le système.

En fait "l'évidence" est surtout formelle. Il y a une équation de même forme, mais quand on regarde les concepts c'est nettement moins évident.

C'est un très bon sujet que de regarder le lien conceptuel, et comme le rappelle humanino, cela passe nécessairement par analyser le concept d'information.

Or, si la mesure d'information de Shannon ne pose pas de difficultés dans ses applications à la mesure de la capacité de transmission et à la mémoire (qui n'est qu'une transmission dans le temps), tant en capacité max du support qu'en capacité min nécessaire (compression), tous les autres usages de la notion d'information méritent examen critique! Ce qui, d'une certaine manière, donne matière à TIPE...

Cordialement,

[invité576543]

Si information = nombre de bits nécessaire pour décrire la configuration microscopique (à configuration macroscopique donnée), alors information ~ entropie. C'est aussi l'information au sens de Shannon.

La difficulté est dans "description". La description de l'état d'une mémoire par exemple est la description d'un état discrétisé et modélisé, un état fini. L'état d'un système physique, c'est autre chose! Et c'est facile d'aller à l'infini... Le calcul usuel (Sackur-Tetrode par exemple) ne s'occupe pas vraiment de "description", mais de volume dans l'espace des phases; perso, la relation entre l'espace des phases et ce que pourrait être une "description" m'échappe.

Par ailleurs le paradoxe de Gibbs, la question de l'extensivité de l'entropie, ne me semblent pas si clairement résolus, d'après diverses lectures. Et faut réaliser qu'il y a d'un côté une notion expérimentale, phénomènologique de l'entropie (thermodynamique), et de l'autre une notion purement théorique, un calcul : le pont entre les deux n'apparaît pas aussi bien établi qu'on aimerait...

Il y a eu quelques discussions passées sur FS sur le sujet.

Cordialement,

[livre]

Salut,
L'entropie définie par Shannon est proportionnelle au logarithme du rapport de l'information à priori par l'information à postériori.

[GrisBleu]

Salut tout le monde. Voila je rentre en 2e année de prépa (MP), et je voudrais tenter de consacrer mon TIPE à l'étude de la relation entre l'information et l'entropie...cependant, diverses questions se présentent à moi: quel est précisément cette relation, ce sujet peut-il permettre de faire un bon tipe????
Merci d'avance pour votre aide.

Salut

Ce n est pas du tout facile comme sujet L'article de shannon qui definit l'information (puis la capacite de transmission qui est le max sur certaines pdf d'un rapport d'information) est extremmement clair sur le concept.
Au final, la formule est celle de l'entropie. La question qui surgit est "pourquoi". J'ai deux reponses simples (et non completes):
- les axiomes sont similaires. Ca n aide pas trop a la comprehension
- plus un systeme est "en desordre", plus il faut d'information pour le decrire.

Bon courage

[mach3]

- plus un systeme est "en desordre", plus il faut d'information pour le decrire.

il est tard mais comme ça, ça me semble un peu le contraire

quand un système physique a une forte entropie, plein de configurations de ce système correspondent au même état macroscopique, donc il devient très facile à décrire, très peu d'information sont nécéssaires (par exemple pour un gaz on se moque de la position des particules du moment qu'elle est homogène et on se manque des impulsions du moment qu'elles forment le bon profil, l'état macroscopique sera peut dépendant des position précises et de quelle particule a quelle impulsion).
Effectivement l'entropie comptabilise les infos qu'on ne peut pas avoir sur le système, mais les infos qu'on ne peut pas avoir ne sont pas utile pour décrire l'état.

bon je crois que je divague...

m@ch3

[Deedee81]

Salut,

En fait "l'évidence" est surtout formelle. Il y a une équation de même forme, mais quand on regarde les concepts c'est nettement moins évident.

Je suis d'accord. D'ailleurs j'ai bien dit que ça pouvait faire un bon tipe et qu'il fallait être précis. S'il suffisait de mettre les formules côtes à côtes, il n'y aurait pas vraiment matière à tipe.

Wlad a d'ailleurs raison en disant que le sujet est difficile. Ca nécessite d'approfondir la thermo classique, la thermo statistique, la théorie de l'information. Même sans aborder des questions tordues comme la gravité quantique, la difficulté dépend du cursus déjà acquis.

C'est pour ça que j'aurais voulu savoir c'est quoi "2ème année de prépa". Pour pérarer quoi ? Le bac ? La fac ? Le Doctorat ? C'est à quel âge typique ? 16 ans ? 20 ans ? (désolé mais chez nous la terminologie n'est pas la même et elle a vachement évolué... et comme je ne suis plus jeune )

[Sigmar]

Il est en classe préparatoire aux grandes écoles (Polytechnique, Centrale, Mines, ENSI, etc.).
Je vois plusieurs obstacles à la réalisation d'un TIPE à partir de ce sujet :
1) Je ne vois pas comment tu peux mettre en évidence la perte d'information à partir d'une expérience : hors les profs RAFOLLENT des expériences.
2) Théoriquement, c'est quand même pas évident évident.
3) Le risque c'est que les profs ne voient pas de production de ta part, mais juste une explication de ce qu'ils connaissent pour la plupart déja.

Je pense que ton salut passera pas une petite expérience mettant en évidence la relation augmentation d'entropie ~ perte d'information, mais je vois franchement pas grand chose qui serait dans les moyens d'un étudiant en prépa... Si vous avez des idées...

[Deedee81]

Bonjour,

Il est en classe préparatoire aux grandes écoles (Polytechnique, Centrale, Mines, ENSI, etc.).

Ah, l'équivalent de ce qu'il y avait chez nous à l'époque, et dont j'ai oublié le nom (mathsup si je ma mémoire ne me trompe pas).

Alors ça va être dur dur. A la sortir des humanités, il a le bagage pour aborder le sujet mais il doit l'aborder de plein pied. Il ne l'a pas encore acquis. Mais, bon, c'est un tipe aussi, pas une synthèse de ses cours .

Je vois plusieurs obstacles à la réalisation d'un TIPE à partir de ce sujet :
1) Je ne vois pas comment tu peux mettre en évidence la perte d'information à partir d'une expérience : hors les profs RAFOLLENT des expériences.

Si, en effet, il doit présenter une expérience, ça va être super coton.

Par contre avec des simulations, bien foutues et avec un bon affichage graphique, ça peut déjà être pas mal.

3) Le risque c'est que les profs ne voient pas de production de ta part, mais juste une explication de ce qu'ils connaissent pour la plupart déja.

C'est pas un doctora ni un article pour publication. Crois moi, quand j'ai fait mon tipe (semi-conducteurs, circuits intégrés et microprocesseur) ils connaissaient bien le sujet aussi. C'est pas en prépa qu'il va révolutionner ce que les profs savent

Bien sûr, faut pas faire un simple copier coller de bouquins. Par exemple, sur les microprocesseur, je m'étais procuré la doc technique du 8080 et j'avais écrit une série de programme simples en code machine en expliquant comment se faisaient les flux d'infos dans les registres, UA, etc....

Il faut une formulation originale et intéressante à défaut d'être une découverte. Enfin, c'est pas interdit, bien sûr. Dans l'histoire des sciences il y a des travaux extraordinaires dans des tipe ou associé.

[GrisBleu]

il est tard mais comme ça, ça me semble un peu le contraire
m@ch3

Salut

Prends
- une source qui envoie toujours des 1. Un seul parametre la definie. L information recue en recevant un signal est nulle (car 100% previsible)
- une source envoie des 0 et des 1 avec equiprobabilite. Tout ce que je recois est porteur d'information (je ne peux pas les predire).

sinon, y a bien de ce lien http://en.wikipedia.org/wiki/Information_theory#Ways_of_mea suring_information

A bientot