Quel est le lien entre l'entropie et l'information??

[invitecd4fc40c]

Salut tout le monde. Voila je rentre en 2e année de prépa (MP), et je voudrais tenter de consacrer mon TIPE à l'étude de la relation entre l'information et l'entropie...cependant, diverses questions se présentent à moi: quel est précisément cette relation, ce sujet peut-il permettre de faire un bon tipe????
Merci d'avance pour votre aide.

[invitea29d1598]

Déplacé en physique.

[invite171486f9]

salut,
l'entropie étant la mesure du désordre, elle renseigne donc parfaitement sur l'état d'ordre du système (phase dans laquelle il se trouve, ou alors transformation qui tend vers un état plus ou moins ordonné).
Cela constitue une information

[invite8ef897e4]

Bonjour,

facile de donner des definitions pour l'entropie, mais quelle definition donnes-tu pour l'information ? A priori, si tu cherches un lien entre les deux, elles devraient etre definies d'abord et reliees ensuite. L'entropie est usuellement comprise comme un manque d'information, ce qui definit l'information en quelques sortes, mais ce n'est pas franchement utile. Tu peux approfondir avec une definition statistique plus precise et generale de l'entropie mais cela n'aide guere je crois. Ce qui est porteur (me semble) c'est le concept de complexite. Mais peut-etre suis-je quelques annees en retard.

Maintenant, l'information est bien definie au niveau quantique. La ca devient encore plus interessant me semble-t-il, plus theorique, et peut etre trop difficile.

[A voir en vidéo sur Futura]

[Deedee81]

facile de donner des definitions pour l'entropie, mais quelle definition donnes-tu pour l'information ? A priori, si tu cherches un lien entre les deux, elles devraient etre definies d'abord et reliees ensuite.

Si information = nombre de bits nécessaire pour décrire la configuration microscopique (à configuration macroscopique donnée), alors information ~ entropie. C'est aussi l'information au sens de Shannon.

Mais tu as raison il y a aussi des liens avec la complexité (intéressant) et le quantique et les trous noirs (ces deux derniers cas risquent fort d'être trop complexe).

Et tu as raison en disant qu'il faut être précis dans les définitions. Les termes informations et désordre sont souvent trop vagues voire trompeurs. Mais ça peut aussi faire le sujet d'une partie du tipe (définition de désordre, d'information, points communs et différences avec les notions communes,...)

Au fait, je suis pas Français, alors, la 2ème année prépa, c'est quoi ? (ou quel âge)

[invité576543]

Si information = nombre de bits nécessaire pour décrire la configuration microscopique (à configuration macroscopique donnée), alors information ~ entropie. C'est aussi l'information au sens de Shannon.

La difficulté est dans "description". La description de l'état d'une mémoire par exemple est la description d'un état discrétisé et modélisé, un état fini. L'état d'un système physique, c'est autre chose! Et c'est facile d'aller à l'infini... Le calcul usuel (Sackur-Tetrode par exemple) ne s'occupe pas vraiment de "description", mais de volume dans l'espace des phases; perso, la relation entre l'espace des phases et ce que pourrait être une "description" m'échappe.

Par ailleurs le paradoxe de Gibbs, la question de l'extensivité de l'entropie, ne me semblent pas si clairement résolus, d'après diverses lectures. Et faut réaliser qu'il y a d'un côté une notion expérimentale, phénomènologique de l'entropie (thermodynamique), et de l'autre une notion purement théorique, un calcul : le pont entre les deux n'apparaît pas aussi bien établi qu'on aimerait...

Il y a eu quelques discussions passées sur FS sur le sujet.

Cordialement,

[Deedee81]

Voila je rentre en 2e année de prépa (MP), et je voudrais tenter de consacrer mon TIPE à l'étude de la relation entre l'information et l'entropie...cependant, diverses questions se présentent à moi: quel est précisément cette relation, ce sujet peut-il permettre de faire un bon tipe????

Salut,

Oui, il y a certainement matière à tipe.

Pour la relation, le lien entre :
http://fr.wikipedia.org/wiki/Entropie_de_Shannon
et
http://fr.wikipedia.org/wiki/Entropi...ue_statistique
est évident si tu identifies l'information aux configurations microscopiques que peut prendre le système.

Et il y a pas mal de sujet annexes, comme dans
http://fr.wikipedia.org/wiki/D%C3%A9mon_de_Maxwell
(voir à la fin de l'article)

[invité576543]

est évident si tu identifies l'information aux configurations microscopiques que peut prendre le système.

En fait "l'évidence" est surtout formelle. Il y a une équation de même forme, mais quand on regarde les concepts c'est nettement moins évident.

C'est un très bon sujet que de regarder le lien conceptuel, et comme le rappelle humanino, cela passe nécessairement par analyser le concept d'information.

Or, si la mesure d'information de Shannon ne pose pas de difficultés dans ses applications à la mesure de la capacité de transmission et à la mémoire (qui n'est qu'une transmission dans le temps), tant en capacité max du support qu'en capacité min nécessaire (compression), tous les autres usages de la notion d'information méritent examen critique! Ce qui, d'une certaine manière, donne matière à TIPE...

Cordialement,

[Deedee81]

Salut,

En fait "l'évidence" est surtout formelle. Il y a une équation de même forme, mais quand on regarde les concepts c'est nettement moins évident.

Je suis d'accord. D'ailleurs j'ai bien dit que ça pouvait faire un bon tipe et qu'il fallait être précis. S'il suffisait de mettre les formules côtes à côtes, il n'y aurait pas vraiment matière à tipe.

Wlad a d'ailleurs raison en disant que le sujet est difficile. Ca nécessite d'approfondir la thermo classique, la thermo statistique, la théorie de l'information. Même sans aborder des questions tordues comme la gravité quantique, la difficulté dépend du cursus déjà acquis.

C'est pour ça que j'aurais voulu savoir c'est quoi "2ème année de prépa". Pour pérarer quoi ? Le bac ? La fac ? Le Doctorat ? C'est à quel âge typique ? 16 ans ? 20 ans ? (désolé mais chez nous la terminologie n'est pas la même et elle a vachement évolué... et comme je ne suis plus jeune )

[invite5e5dd00d]

Il est en classe préparatoire aux grandes écoles (Polytechnique, Centrale, Mines, ENSI, etc.).
Je vois plusieurs obstacles à la réalisation d'un TIPE à partir de ce sujet :
1) Je ne vois pas comment tu peux mettre en évidence la perte d'information à partir d'une expérience : hors les profs RAFOLLENT des expériences.
2) Théoriquement, c'est quand même pas évident évident.
3) Le risque c'est que les profs ne voient pas de production de ta part, mais juste une explication de ce qu'ils connaissent pour la plupart déja.

Je pense que ton salut passera pas une petite expérience mettant en évidence la relation augmentation d'entropie ~ perte d'information, mais je vois franchement pas grand chose qui serait dans les moyens d'un étudiant en prépa... Si vous avez des idées...

[Deedee81]

Bonjour,

Il est en classe préparatoire aux grandes écoles (Polytechnique, Centrale, Mines, ENSI, etc.).

Ah, l'équivalent de ce qu'il y avait chez nous à l'époque, et dont j'ai oublié le nom (mathsup si je ma mémoire ne me trompe pas).

Alors ça va être dur dur. A la sortir des humanités, il a le bagage pour aborder le sujet mais il doit l'aborder de plein pied. Il ne l'a pas encore acquis. Mais, bon, c'est un tipe aussi, pas une synthèse de ses cours .

Je vois plusieurs obstacles à la réalisation d'un TIPE à partir de ce sujet :
1) Je ne vois pas comment tu peux mettre en évidence la perte d'information à partir d'une expérience : hors les profs RAFOLLENT des expériences.

Si, en effet, il doit présenter une expérience, ça va être super coton.

Par contre avec des simulations, bien foutues et avec un bon affichage graphique, ça peut déjà être pas mal.

3) Le risque c'est que les profs ne voient pas de production de ta part, mais juste une explication de ce qu'ils connaissent pour la plupart déja.

C'est pas un doctora ni un article pour publication. Crois moi, quand j'ai fait mon tipe (semi-conducteurs, circuits intégrés et microprocesseur) ils connaissaient bien le sujet aussi. C'est pas en prépa qu'il va révolutionner ce que les profs savent

Bien sûr, faut pas faire un simple copier coller de bouquins. Par exemple, sur les microprocesseur, je m'étais procuré la doc technique du 8080 et j'avais écrit une série de programme simples en code machine en expliquant comment se faisaient les flux d'infos dans les registres, UA, etc....

Il faut une formulation originale et intéressante à défaut d'être une découverte. Enfin, c'est pas interdit, bien sûr. Dans l'histoire des sciences il y a des travaux extraordinaires dans des tipe ou associé.

[invite5e5dd00d]

Bonjour,
C'est pas un doctora ni un article pour publication. Crois moi, quand j'ai fait mon tipe (semi-conducteurs, circuits intégrés et microprocesseur) ils connaissaient bien le sujet aussi. C'est pas en prépa qu'il va révolutionner ce que les profs savent

Je suis d'accord. Mais souvent, ils aiment bien qu'on présente des applications, des systèmes dont ils ont entendu parler, mais dont ils connaissent ni la théorie ni les débouchés. Là ils peuvent accrocher. Mais si c'est : "le second principe et la théorie de l'info en thermo expliqués simplement", ça risque surement pas de plaire.

[Deedee81]

Salut,

Mais si c'est : "le second principe et la théorie de l'info en thermo expliqués simplement", ça risque surement pas de plaire.

D'accord aussi. Je ne le voyais certainement pas comme ça

Tiens, alex n'est pas revenu discuter, j'espère qu'il a vu toutes les réponses.

[livre]

Salut,
L'entropie définie par Shannon est proportionnelle au logarithme du rapport de l'information à priori par l'information à postériori.

[GrisBleu]

Salut tout le monde. Voila je rentre en 2e année de prépa (MP), et je voudrais tenter de consacrer mon TIPE à l'étude de la relation entre l'information et l'entropie...cependant, diverses questions se présentent à moi: quel est précisément cette relation, ce sujet peut-il permettre de faire un bon tipe????
Merci d'avance pour votre aide.

Salut

Ce n est pas du tout facile comme sujet L'article de shannon qui definit l'information (puis la capacite de transmission qui est le max sur certaines pdf d'un rapport d'information) est extremmement clair sur le concept.
Au final, la formule est celle de l'entropie. La question qui surgit est "pourquoi". J'ai deux reponses simples (et non completes):
- les axiomes sont similaires. Ca n aide pas trop a la comprehension
- plus un systeme est "en desordre", plus il faut d'information pour le decrire.

Bon courage

[mach3]

- plus un systeme est "en desordre", plus il faut d'information pour le decrire.

il est tard mais comme ça, ça me semble un peu le contraire

quand un système physique a une forte entropie, plein de configurations de ce système correspondent au même état macroscopique, donc il devient très facile à décrire, très peu d'information sont nécéssaires (par exemple pour un gaz on se moque de la position des particules du moment qu'elle est homogène et on se manque des impulsions du moment qu'elles forment le bon profil, l'état macroscopique sera peut dépendant des position précises et de quelle particule a quelle impulsion).
Effectivement l'entropie comptabilise les infos qu'on ne peut pas avoir sur le système, mais les infos qu'on ne peut pas avoir ne sont pas utile pour décrire l'état.

bon je crois que je divague...

m@ch3

[GrisBleu]

il est tard mais comme ça, ça me semble un peu le contraire
m@ch3

Salut

Prends
- une source qui envoie toujours des 1. Un seul parametre la definie. L information recue en recevant un signal est nulle (car 100% previsible)
- une source envoie des 0 et des 1 avec equiprobabilite. Tout ce que je recois est porteur d'information (je ne peux pas les predire).

sinon, y a bien de ce lien http://en.wikipedia.org/wiki/Information_theory#Ways_of_mea suring_information

A bientot

[chaverondier]

Salut tout le monde. Voila je rentre en 2e année de prépa (MP), et je voudrais tenter de consacrer mon TIPE à l'étude de la relation entre l'information et l'entropie...cependant, diverses questions se présentent à moi: quel est précisément cette relation, ce sujet peut-il permettre de faire un bon tipe???? Merci d'avance pour votre aide.

Question très difficile.

Un commissaire de police A cherche un coupable. Il y a 5 salles remplies de 80 personnes chacune : Il sait bien que le coupable est dans l'une de ces salles mais ne sait pas laquelle. Quelle est l'entropie S du coupable (vis à vis de ce commissaire A et mesurée en bits) ?
S = ln 400 / ln 2

Un commissaire de police B cherche ce même coupable. Il sait que le coupable est dans la salle 2, quelle est l'entropie S du coupable (vis à vis de ce commissaire B et mesurée en bits) ?
S = ln 80 / ln 2

Un commissaire de police C cherche lui aussi ce même coupable. Il sait, lui aussi, que ce coupable dans la salle 2, mais il y a 8 rangées de 10 personnes et le commissaire C sait que le coupable se situe au 3ème rang. Quelle est l'entropie du coupable (vis à vis de ce commissaire C et mesurée aussi en bits)
S = ln 10 / ln2

Bref, l'entropie de l'état d'un système (cad le manque d'information pour localiser un coupable, manque mesuré en nombre de bits plutôt qu'en exp(k)-tets, la constante de Boltzmann k de la formule usuelle donnant l'entropie n'étant qu'une conséquence de nos unités habituelles de mesure de température 1/T = @S/@E) c'est le nombre de bits qu'il faut communiquer à l'observateur macroscopique pour localiser l'état microscopique du système observé parmi l'ensemble des états indiscernables à son échelle d'observation macroscopique.

Un truc amusant, c'est le second principe de la thermodynamique dans ce cadre. Exprimé sous l'angle informationnel, il signifie que le commissaire de police (l'observateur d'un système isolé) ne sait pas localiser le coupable (l'état microphysique du système observé) mieux que ce que lui autorise à le faire une sorte de limite à sa capacité à acquérir des informations sur la localisation de ce coupable. Il doit lui manquer une quantité d'information supérieure (ou à la limite égale) à une quantité minimale d'information manquante qu'on appelle l'entropie macroscopique du coupable (de l'état microphysique du système observé) recherché dans la salle (cad parmi l'ensemble des états microphysiques perçus par l'observateur comme étant dans le même état macroscopique).

Un autre truc amusant sur le lien entropie-information-écoulement du temps (question intimement liées) c'est que, si nous avions tout sur tout (jamais d'acquisition de nouvelle information) alors, le temps ne pourrait plus s'écouler (cad pas de croissance possible de l'entropie des sytèmes isolés, d'où les problèmes constatés vis à vis de la question du temps en cosmologie quantique sans observateur).

[invite5e5dd00d]

Un autre truc amusant sur le lien entropie-information-écoulement du temps (question intimement liées) c'est que, si nous avions tout sur tout (jamais d'acquisition de nouvelle information) alors, le temps ne pourrait plus s'écouler (cad pas de croissance possible de l'entropie des sytèmes isolés, d'où les problèmes constatés vis à vis de la question du temps en cosmologie quantique sans observateur).

Je trouve ça extrêmement intéressant. Tu peux développer la raison pour laquelle le temps (perçu ou physique = désintégration du césium par exemple ?) ne s'écoulerait plus ?
Merci.

[chaverondier]

Je trouve ça extrêmement intéressant. Tu peux développer la raison pour laquelle le temps (perçu ou physique = désintégration du césium par exemple ?) ne s'écoulerait plus ?
Merci.

Parce que la désintégration (au même titre que n'importe quelle mesure quantique) ne se produirait plus pour un observateur connaissant tout. Pas de perte d'information => pas de transformation irréversible et pas d'enregistrement d'information (donc pas d'écoulement du temps).

On peut (peut-être) retrouver l'hypothèse d'un écoulement objectif du temps en supposant que la perte d'information s'effectue à une échelle telle (par exemple l'échelle de Planck) que l'on peut considérer l'observateur comme quasiment hors de cause. C'est l'idée que l'information pourrait être (quasiment ?) définitivement perdue...
...contrairement à ce qui se passe pour les trous noirs où Hawking à fini par admettre que, finalement, la perte d'information associée à l'entropie de Hawking Bekenstein du trou noir n'était, finalement, pas une perte d'information objective (et vlan, un coup de plus sur le nez des réalistes ! Les partisans de l'interprétation de l'invariance de Lorentz comme un principe fondamental, et non comme une émergence de nature thermodynamique statistique, peuvent être contents).

Toutefois, ces questions touchent aux limites de ce que l'on sait à ce jour. Elles nous interrogent sur les bases de notre physique sans qu'il soit possible (à ce jour) de proposer d'expérience permettant de trancher. Certains trouvent ce type d'exercice contreproductif, voire même dangereux au plan pédagogique (en particulier, cela exige de comprendre les bases de la physique au lieu de les apprendre).

Tout cela est du ressort de l'interprétation physique (activité que certains préfèrent d'ailleurs considérer comme se situant en dehors du domaine de la physique) et ne présente pas d'intérêt (pour ceux qui veulent des résultats et pas des questions risquant très fortement de rester sans réponse pendant longtemps) tant que l'on n'est pas sur le point d'avoir les moyens d'observation et les outils théoriques permettant de répondre aux questions soulevées.