Entropie et information: même concept ?

[yvon l]

1) Preambule informatique
L’information étant issu d’un concept de représentation je considère l’image d’une goute d’encre bien ronde représenté sous une image informatique pixelisée.
Chaque pixel sera représenté ici par une information simple par exemple 0 ou 1 suivant que le pixel est respectivement blanc ou noir
la représentation des pixels de la goutte circulaire, pour l’informaticien correspond à un algorithme simple.
Maintenant si la goutte s’étend, c’est-à-dire que ses x pixels noirs migrent à des endroits différents, la description devient plus complexe du point de vue des pixels (échelle microscopique). Les informaticiens on résolut ce problème informationnel pour garder une description macroscopique correcte (et en faire par exemple une reproduction) . En utilisant des algorithmes de compression, ils ont réduit drastiquement la quantité d’informations (la taille de l’image) sans trop changer l’aspect macroscopique de l’image.
Si on réalise l’expérience suivante qui consiste à photographier l’image de la goutte en cours de diffusion, vous verrez que la taille sur le support informatique de l’image augmentera au fur et mesure que la goutte s’étalera. Bref dans l’exemple il y a une corrélation forte entre l’augmentation de l’entropie de la goutte et la représentation informationnelle qu’en font les informaticiens.
Bien sur, l’entropie(et sa traduction en ’information) obéit à des contraintes qui sont propres au milieu (sur lequel se trouve la tache) et aux lois physiques (loi de diffusion)

2) Et...le logarithme intervient.
a) Dans l’entropie de Bolzmann, si par exemple j’ai 2 milieux ou je dois distinguer par exemple 100 états, pour l’un et 10 états pour l’autre, le mélange des 2 milieux aboutit à 100*10= 1000 ou 10²+10=10³ états. Traduit en logarithme en base 10 un mélange d’un milieu d’entropie 2 avec un milieu d’entropie 1 donne un mélange d’entropie 3. (à une constante près le résultat est identique si on utilise une autre base, par exemple le ln ou la base 2).
Rem: Les entropies de Clausius puis de Bolzmann se situent au niveau de l’énergie thermique.

b) L’approche informationnelle de shannon est plus générale. L’information est un concept plus général et a été étudié comme tel.
Supposons un dictionnaire de 1000 pages contenant chacun 1 mot. Pour distinguer ces 1000 mots (états)(10³) j’ai besoin d’une information nécessitant 3 chiffres décimaux (000 à 999). Et voilà nous nous retrouvons également avec un logarithme. (dans l’exemple 4 chiffres pour 10000 mots , etc)
On retrouve le résultat de bolzmann pour autant que les mots (les états) sont équiprobables. Ceci est vérifié dans le domaine thermique lorsque celui-ci est à l’équilibre.

Excusez-moi d’être verbeux, mais j’évite de formaliser pour me faire comprendre par un maximum de lecteurs. D’ailleurs, ma pratique me rend méfiant quand quelqu’un plaque un formalisme (même rigoureux) élaboré par un autre. Souvent c’est une façon de masquer une méconnaissance du sujet.
Que pensez-vous de cette explication pour un public niveau secondaire.?
-----

[coussin]

Connaissez-vous la théorie des "cellular automata" de 't Hooft ?
Votre goutte d'encre pixelisée m'y fait penser...

[yvon l]

Connaissez-vous la théorie des "cellular automata" de 't Hooft ?
Votre goutte d'encre pixelisée m'y fait penser...

Pas dans ce cadre, mais celui du concept Coarse-grained entropy

[chaverondier]

Excusez-moi d’être verbeux, mais j’évite de formaliser pour me faire comprendre par un maximum de lecteurs. D’ailleurs, ma pratique me rend méfiant quand quelqu’un plaque un formalisme (même rigoureux) élaboré par un autre. Souvent c’est une façon de masquer une méconnaissance du sujet.
Que pensez-vous de cette explication pour un public niveau secondaire.?

Pour ma part, j'illustrerais bien le caractère informationnel et relationnel (et non intrinsèque) de l'entropie d'un système observé (le manque d'information d'un observateur relativement à un système observé) par l'image d'un commissaire de police cherchant à attraper un voleur.

Par exemple :

• Le voleur est entré dans un immeuble de 8 étages.
• A chaque étage il y a 4 appartements.
• Dans chaque appartement il y a une chambre, un séjour, une cuisine et une salle de bain.

Si le commissaire de police ne connait ni l'étage, ni la pièce, ni l'appartement où le voleur s'est réfugié, ce voleur peut se cacher à 8 x 4 X 4 = 128 endroits différents. Il manque au commissaire de police

3 bits d'information pour localiser l'étage
+2 bits d'information pour localiser l'appartement,
+2 bits d'information pour localiser la pièce dans l'appartement.

Pour ce malheureux commissaire, l'entropie du voleur (son manque d'information quant à l'endroit où le voleur s'est caché) est de 3+2+2 = log_2(8) + log_2(4) + log_2(4) = log_2(128) bits d'information.

Supposons maintenant que le commissaire connaisse :

• l'étage où le voleur s'est réfugié, soit 3 bits d'information donc car un indic lui a transmis l'information par message SMS.
• La pièce dans laquelle il se trouve, parce que ce voleur est bien connu des forces de police. C'est un récidiviste. Il se cache systématiquement dans la salle de bain. 2 bits supplémentaire d'information donc.

Du coup, grâce à ces 5 bits d'information préalable, l'entropie du voleur n'est alors plus que de 2 bits seulement (pour ce commissaire bien informé). Il s'agit des 2 bits permettant au commissaire de savoir si le voleur est :

• dans l'un des 2 appartement proches du palier ou dans l'un des 2 appartement du fond (1 bit)
• dans celui de gauche ou dans celui de droite (1 bit)

Pour passer au cas de la diffusion de la goutte d'encre, on pourrait peut-être l'imager par une immense plaque carrée percée de trous disposés en lignes et en colonnes, réseau de trous sur lequel on aurait placé, dans un coin de la plaque, un groupe de billes toutes logées dans des trous voisins.

Si on veut trouver une bille, on sait exactement où la chercher. On dispose même d'une information complète si ces billes sont indiscernables. L'entropie, le manque d'information initiale sur la position des billes, est très faible voir nul.

Si on secoue cette plaque, les billes vont se disperser. Si on voit les choses d'un peu loin (point de vue de l'observateur macroscopique) elles vont se trouver quelque part dans un espace bien plus grand. Comme la bille se trouve quelque part dans cet espace, il manque une quantité d'information (une entropie) égale au log_2 du nombre de cases contenues dans le contour de cet espace (si on décide de compter cette entropie en bits).

Si l'observateur se rapproche, le contour de l'espace dans lequel peuvent se trouver les billes devient bien plus complexe, mais bien plus précis. Ce contour entoure donc une surface nettement plus petite. A nouveau le log_2 du nombre de trous pouvant être occupés dans cet espace plus réduit désigne l'entropie du groupe de billes (l'image des molécules d'encre). Cette entropie (ce manque d'information) a diminué grâce à une meilleure vision de l'observateur (il observe la solution au microscope par exemple).

Si l'observateur a vraiment une excellente vision (ou un très bon microscope), l'entropie n'augmente pas lors du phénomène de diffusion de la goutte d'encre. En effet, l'observateur conserve alors tout le temps une information complète sur la localisation de toutes les billes. Bref, le phénomène irréversible de diffusion vu de loin (perte d'information = augmentation d'entropie) devient réversible vu de près ou avec une très bonne vision de loin (conservation de l'information = évolution isentropique).

Bon, ben voilà que l'écoulement irréversible du temps se manifestant grâce à des phénomènes irréversibles, autrement dit la croissance de l'entropie, la fuite d'information hors de portée de l'observateur (sans eux pas possible de marquer l'écoulement du temps par des traces irréversibles de son écoulement) se met à devenir une propriété à caractère thermodynamique statistique. Voilà que l'entropie et sa croissance qui déroule le temps (c'est le temps qui se déroule dans la croissance d'entropie et non l'inverse) manifeste son caractère informationnel.

Voilà donc que, dans cette image, l'entropie modélise la relation observateur/système observé en termes de quantité d'information manquant à l'observateur pour caractériser complètement l'état du système observé (comme tendent à le penser les positivistes).

[A voir en vidéo sur Futura]

[sunyata]

Si l'observateur a vraiment une excellente vision (ou un très bon microscope), l'entropie n'augmente pas lors du phénomène de diffusion de la goutte d'encre. En effet, l'observateur conserve alors tout le temps une information complète sur la localisation de toutes les billes. Bref, le phénomène irréversible de diffusion vu de loin (perte d'information = augmentation d'entropie) devient réversible vu de près ou avec une très bonne vision de loin (conservation de l'information = évolution isentropique).
Bon, ben voilà que l'écoulement irréversible du temps se manifestant grâce à des phénomènes irréversibles, autrement dit la croissance de l'entropie, la fuite d'information hors de portée de l'observateur (sans eux pas possible de marquer l'écoulement du temps par des traces irréversibles de son écoulement) se met à devenir une propriété à caractère thermodynamique statistique. Voilà que l'entropie et sa croissance qui déroule le temps (c'est le temps qui se déroule dans la croissance d'entropie et non l'inverse) manifeste son caractère informationnel.

Bonjour,

La vision excellente de l'observateur ne changera rien au fait objectif que le processus de diffusion de la goutte d'eau ne fera pas marche arrière. Cela montre que vue de prés on peut avoir une illusion de réversibilité,
mais c'est comme l'arbre qui cache la forêt.( Un reliquat du début de l'a physique statistique où l'existence de l'atome n'était encore qu'une hypothèse et où on ne savait rien sur la structure et le fonctionnement de l'atome : les atomes étaient modélisés comme des billes régies par les lois déterministes de Newton)
L'énergie a une tendance naturelle à se disperser (rayonnement, conduction, convection, advection), tout comme le rayon d'incertitude d'un état quantique augmente en fonction du temps (équation de Schrödinger).
Même avec la vision de prêt il sera impossible de quantifié précisément l'ensemble des degrés de liberté ne serait-ce que d'une particule (vibrationnel, rotationnel, translationnel, positionnel).

Donc à mon avis dire qu'il existe un niveau de détail microscopique qui permettrait de qualifier la réalité comme réversible à un certain niveau d'observation, est une illusion.

C'est ce qui justifie l'approche statistique, qui n'est pas subjective, mais objective et reposant du une approche fréquentiste des probabilités. (Hypothèse ergodique)

Cordialement,

[Paradigm]

Bonjour à tous,

Dans la cadre de la théorie de l'information développé par Shannon, l'entropie est défini comme une mesure de la quantité moyenne d’information (propre) contenue dans un ensemble de messages.

Dans ce cadre la notion d'information est relié à un ou plusieurs événements possibles parmi un ensemble d’événements. Un événement avec peu de probabilité de survenir représente beaucoup plus d’information qu’un événement avec une forte probabilité de survenir.

Exemple : Il neige en janvier contient beaucoup moins d’information que Il neige en août pour peu que l’on soit dans l’hémisphère nord.

Acquérir de "l’information" permet de diminuer l’incertitude :

Considérons par exemple une source qui peut produire trois symboles a, b et c. Quand le destinataire attend un symbole, il est dans l’incertitude quant au symbole que la source va engendrer. Lorsque le symbole apparaît et qu’il arrive au destinataire, cette incertitude diminue. Un des buts de la théorie de l’information est de mesurer cette incertitude avant réception.

Qualitativement, fournir une information consiste à lever une partie de l'incertitude sur l'issue d'une expérience aléatoire. Par exemple, l'observation d'un '0' à la sortie d'un canal binaire bruité augmente la probabilité qu'un '0' ait été émis et diminue la probabilité qu'un '1' ait été émis.

L'information propre de l’événement x a été formalisée en prenant en compte les exigences

- Elle doit être une fonction de sa probabilité : I(x) = f(p(x)).
- L'information propre de x est une fonction décroissante de p(x) : en effet un événement certain n'apporte aucune information, alors qu'un événement improbable en apportera beaucoup.
- L'information propre est une grandeur additive : si les événements x et y sont statistiquement indépendants alors l'information totale qu'ils peuvent fournir est la somme des informations
propres f(p(x, y)) = f(p(x)p(y)) = f(p(x)) + f(p(y)).

Ce qui a conduit au choix d'une fonction de la forme I(x) = λ log p(x), avec λ < 0 pour assurer la décroissance par rapport à p(x). Le choix de λ dépend de l'unité d'information choisi. Si on choisi le bit comme unité ; Un bit est égal à la quantité d'information fournie par le choix d'une alternative parmi deux équiprobables :

I(x) = −log₂ p(x).

Dans ce cadre l'entropie, tel que défini par Shannon, nous permet de mesurer la quantité moyenne d’information contenue dans un ensemble de messages.

H(X) = ∑ −p(x) log₂ p(x). sur l'ensemble des événements. Expression qui est l’espérance mathématique de l'information propre I(X). X variable aléatoire discrète.

Les concepts les plus utiles dans le cadre de l'ingénierie des communications sont les notions d'information conditionnelle, d'information mutuelle I(X, Y), entropie jointe H(X, Y), conditionnelle H (Y/X) ... une synthèse est donné ce cours "Introduction à la théorie de l'information".

La formulation mathématique permet de minimiser le dicta des subjectivités.

Un article sur le sujet Entropie/Information

It is absolutely necessary to distinguish between SMI and the entropy. Failing to make such a distinction has led to too many misinterpretations of entropy and the Second Law, as well as assigning properties of SMI to entropy, and in particular misunderstanding the H-theorem, discussed in Section 4.

Cordialement,

[yvon l]

Merci à tous pour vos interventions .
@chaverondier
Très bel exemple du détective mais:
1) il faut noter que l’exemple est dans le cadre particulier ou le commissaire est l’observateur et le voleur l’observé. D’ailleurs comme le locuteur et l’écouteur dans la théorie de Shannon. L’échange informationnel se réduit à une seule direction. Si maintenant on attribue le même statut entre le voleur et le commissaire, les transferts informationnels deviennent bidirectionnels avec donc des contraintes supplémentaires propres aux systèmes bouclés (petit jeu entre commissaire-voleur)
2) Aspect temporel
L’approche de la fuite d’information pour l’observateur en fonction du temps est observable dans le cas ou, le système est en cours de rééquilibrage après avoir été perturbé par un flux d’énergie ou de matière.
3) Aspect échelle d’observation (factuelle)
Je serais plutôt d’accord avec sunyata. Par exemple un déplacement de matière (ou d’énergie) est parfaitement observable à l’échelle microscopique (c’est une information monodirectionnelle entre l’observé et l’observateur) par contre, plus on se rapproche du microscopique à l’échelle moléculaire, plus cette information devient indistinguable. A l’échelle moléculaire l’observateur voit l’agitation moléculaire oscillante et des effets de type Brownien. Si on veut en tirer quelque chose, l’étude statistique est nécessaire, et il n’est pas sûr que le mouvement global y apparaît.
Petite remarque*: Dans le cadre plus général, quand on équipe l’observateur d’une loupe, il faut équiper l’observé d’une même loupe (boucle).
4) Aspect contraintes.
Dans la 2e partie de l’intervention de chaverondier on se limite aux contraintes des lois de la nature sans faire intervenir les contraintes supplémentaires qui pourraient avoir lieu sur le système observé.
Si on tient compte de ces dernières, il apparaît souvent des diminutions locales de l’entropie.
Par exemple L’effet d’une paroi va faire apparaître macroscopiquement une information de type pression . Et pour être plus général, il est préférable de considérer le cas ou l’observé est traversé par un flux matière/energie . Par exemple, avec une contrainte de type cylindre-piston peut apparaître l’information associé à l’énergie cinétique du déplacement coordonné (énergie qui à son tour peut produire un travail pour peu par exemple qu’il y ait frottement (irréversibilité).
Pour terminer ici dans un cadre général il faut considérer le sens bidirectionnel des transferts d’information entre l’observateur et l’observé, ce qui complique drôlement le problème.

[chaverondier]

La vision excellente de l'observateur ne changera rien au fait objectif que le processus de diffusion de la goutte d'eau ne fera pas marche arrière.

Il ne le fera pas naturellement, mais les lois fondamentales de la physique sont sensées être réversibles. Cf la symétrie CPT et le rappel de Sean Caroll à ce sujet (1).

De plus, d'un point de vue purement théorique, le retour d'un système isolé aussi près que souhaité de son état initial est toujours possible sans rien faire (2).

L'hypothèse selon laquelle l'information ne se conserverait pas, ce qui ferait de l'irréversibilité un fait objectif, est cependant défendue par feu Progogine, Petrosky, Gadella, De la Madrid, Résibois, Antoniou et quelques autres physiciens de l'école de Bruxelles Austin.

Cf par exemple : The extension of classical dynamics for unstable Hamiltonian systems

Le sujet m'intéresse beaucoup, mais j'ai du mal à mettre la main sur les documents les mieux adaptés à l'acquisition de certains prérequis, notamment ceux concernant les opérateurs de création de corrélation, les opérateurs collisionnels de type Fokker Planck ainsi que le procédé de continuation analytique des propagateurs permettant d'éviter les singularités associées aux résonances de Poincaré.

(1) La violation de symétrie T (par l'interaction faible) n'est pas une violation d'unitarité conférant sa flèche au temps, Time-Reversal Violation Is Not the "Arrow of Time", Sean Caroll.

(2) Retour possible en théorie seulement toutefois cf. théorème de récurrence de Poincaré. De ce point de vue, le modèle des urnes de Ehrenfest est particulièrement instructif.

Dès que l'on met une centaine de billes dans une urne et aucune bille dans l'autre, on obtient (par transfert aléatoire d'une urne vers l'autre) l'égalité de remplissage des deux urnes (temps de relaxation) en environ 150 tirages. Par contre, on revient à l'état initial (temps de récurrence de Poincaré) en environ 3000 milliards de fois l'âge de l'univers.

De plus, même au plan purement théorique, je ne suis pas convaincu de la validité de l'hypothèse physique implicite contenue dans le cadre mathématique où le théorème de Poincaré est établi (celui des systèmes dynamiques mesurés dotés d'une mesure finie) si on veut appliquer ce théorème au seul système physique que l'on puisse réellement considérer comme isolé : l'univers tout entier.

[azizovsky]

(conservation de l'information = évolution isentropique).

Bon, ben voilà que l'écoulement irréversible du temps se manifestant grâce à des phénomènes irréversibles, autrement dit la croissance de l'entropie, la fuite d'information hors de portée de l'observateur (sans eux pas possible de marquer l'écoulement du temps par des traces irréversibles de son écoulement) se met à devenir une propriété à caractère thermodynamique statistique. Voilà que l'entropie et sa croissance qui déroule le temps (c'est le temps qui se déroule dans la croissance d'entropie et non l'inverse) manifeste son caractère informationnel.

.

Bonjour, je n'ai ai pas compris ..., est ce qu'un système isentropique n'a 'pas de temps'? ou que son temps est quantifié ?

Equation de Klein-Gordon dans l'espace d'énergie-impulsion :

(1):

avec .

(1) n'existe pas dans les manuels de physiques (mon équation).

[Paradigm]

Bonjour Bernard,

L'hypothèse selon laquelle l'information ne se conserverait pas, ce qui ferait de l'irréversibilité un fait objectif,

De quel concept d'information faites vous référence ? Cette information ne se conserverait pas relativement à quel opération/opérateur ? C'est quoi un fait objectif ? Les questions sont sincères sans aucun sous entendu. Elles visent juste la rationalité et l'honnêteté intellectuelle.


Cordialement,

[chaverondier]

Bonjour Bernard. De quel concept d'information faites vous référence ? Cette information ne se conserverait pas relativement à quel opération/opérateur ? C'est quoi un fait objectif ?

Je fais allusion au fait que l'évolution des systèmes physiques isolés est hamiltonienne, donc (au plan du principe) isentropique (cf. le théorème de Liouville établissant la conservation du volume d'espace de phase et donc, du même coup, celle de l'entropie).

On a pas mal discuté de ça sur le fil Principe de conservation de l'information auquel tu as d'ailleurs participé.

A titre d'exemple, si je pose une bille sur le bord d'un bol et que je la laisse tomber, elle va finir en état d'équilibre au fond du bol. En apparence une fois l'équilibre atteint, l'information sur l'état initial de la bille semble définitivement perdue.

En fait, l'irréversibilité de cette évolution (la création d'entropie) correspond à la fuite d'information sur cet état initial hors de portée de l'observateur. Cette information n'est donc pas objectivement perdue. Elle a été emportée dans le rayonnement électromagnétique et les phonons qui ont été engendrés par le phénomène de dissipation d'énergie par friction (au cours de cette évolution que l'observateur perçoit, de ce fait, comme irréversible).

Bref, selon le point de vue à ce jour majoritaire, l'information se conserverait (les évolutions seraient isentropiques) et seule la fuite d'information hors de portée de l'observateur macroscopique permettrait de faire émerger l'écoulement irréversible du temps. cf.
Le temps macroscopique de R. Balian
Incomplete descriptions and relevant entropies de R. Balian
Voir aussi Le Paradoxe de l'information

En fait, je n'en suis plus très sur. Je me demande si les Prigogine, Petrosky, Gadella, De la Madrid, Résibois, Antoniou... Bref, l'école de Bruxelles Austin, estimant objective, définitive, cette fuite d'information n'auraient pas raison finalement. Ils évoquent tout particulièrement la diffusion persistance et les grands systèmes non intégrables de Poincaré.
cf. The extension of classical dynamics for unstable Hamiltonian systems.

[yvon l]

Pourriez-vous intervenir en gardant à l’esprit ma question initiale de tentatives d’explication pour un public de niveau secondaire. Je sais que la vulgarisation est un exercice complexe. Dans la mesure du possible dans l’esprit des interventions #1, #4 et #7. Une discussion à partir de ces messages m’intéresserait beaucoup. Excusez-moi pour ce petit recentrage. Merci

[Paradigm]

un public de niveau secondaire.

La portée qui doit être accordé à la définition mathématique de l’information donnée par Shannon, hors du domaine des télécommunications pour la positionner dans la problématique de la dimension physique de "l’information" me semble difficile à vulgariser pour un niveau secondaire du fait qu'il n'y toujours pas de consensus.

Le problème de l'information, qui n'est pas un concept physique orthodoxe, ne peut pas être invoqué à la légère sous peine de créer plus de confusion qu'autre chose.

Cordialement,

[yvon l]

La portée qui doit être accordé à la définition mathématique de l’information donnée par Shannon, hors du domaine des télécommunications pour la positionner dans la problématique de la dimension physique de "l’information" me semble difficile à vulgariser pour un niveau secondaire du fait qu'il n'y toujours pas de consensus.



Cordialement,

Merci, pour votre réponse. Dans le cadre de mes interventions, pourriez-vous cependant reformuler si possible mes explications de l'information/entropie telle que je l'explique à partir des exemples. J'ai élaboré celles-ci à partir de nombreuses lectures, mais j'aimerais savoir ou on peut souligner des incohérences.

[yvon l]

Correction message #7 (en gras)

3) Aspect échelle d’observation (factuelle)
Je serais plutôt d’accord avec sunyata. Par exemple un déplacement de matière (ou d’énergie) est parfaitement observable à l’échelle macroscopique (c’est une information monodirectionnelle entre l’observé et l’observateur) par contre, plus on se rapproche du microscopique à l’échelle moléculaire, plus cette information devient indistinguable. A l’échelle moléculaire l’observateur voit l’agitation moléculaire oscillante et des effets de type Brownien.

[Paradigm]

Merci, pour votre réponse. Dans le cadre de mes interventions, pourriez-vous cependant reformuler si possible mes explications de l'information/entropie telle que je l'explique à partir des exemples.

Je ne peux malheureusement pas être dans votre tête pour comprendre votre rhétorique. Concernant le concept d'information défini par Shannon j'ai donné des éléments dérivés de ce qui est enseigné dans ce domaine. Vous en faite votre propre interprétation dans votre langage privé c'est votre choix.

Cordialement,

[yvon l]

Je ne peux malheureusement pas être dans votre tête pour comprendre votre rhétorique. Concernant le concept d'information défini par Shannon j'ai donné des éléments dérivés de ce qui est enseigné dans ce domaine. Vous en faite votre propre interprétation dans votre langage privé c'est votre choix.

Cordialement,

Ben oui, c'est une synthèse personnelle, à partir je pense des mêmes références que vous. Peut-être en essayant de sortir des comparaisons entre les entropies. Voir par exemple la conférence de JM Lehn (minute 13-14) où il parle d'information en terme d'organisation (complexité de la matière)
https://www.youtube.com/watch?v=BbNT2NgO9Xw

[chaverondier]

Pourriez-vous intervenir en gardant à l’esprit ma question initiale de tentatives d’explication pour un public de niveau secondaire. Je sais que la vulgarisation est un exercice complexe.

A mon avis, il faut :

• se limiter à ce que l'on a soi-même parfaitement compris et se trouve légitimé par des références incontestables,
• identifier l'information que l'on souhaite transmettre en se posant la question suivante et en tâchant d'y répondre au mieux : à la fin de mon exposé, à quelles questions d'un quizz construit pour vérifier les connaissances acquises suite à cet exposé est-ce que j'espère pouvoir obtenir une bonne réponse ?

[sunyata]

Entropie et information: même concept ?

Si l'entropie peut se définir comme cela a été dit comme la quantification de l'information manquante à la description d'un phénomène, on ne peut pas dire (stricto sensu ) que l'entropie et l'information sont le même concept.

La physique du XX ième siècle n'a eu de cesse de faire intervenir des problématiques liées à l'observation, au grand dam de l'idéal déterministe et objectif de Pierre Simon de Laplace.
La physique statistique de Boltzmann d'abord introduit la part de notre ignorance des détails dans son calcul d'entropie.
La physique relativiste introduit une relativité liée au référentiel et un cadre où il n'y a plus de temps-en-soi, mais un temps propre pour chaque observateur lié à sa situation singulière dans l'espace-temps.
La physique quantique ensuite qui rompt avec les notions déterministes et objectives de trajectoires, pour les remplacées par des observables aux variables conjuguées.
La théorie du chaos qui introduit l'impossibilité de prédiction du fait de l'impossible connaissance exhaustive des conditions initiales...

On peut légitiment se demander à ce stade si la notion de physique sans observateur à un sens. Il me semble que non.
La définition même de système ouvert implique l'existence d'un observateur, et d'un choix pertinent des limites du système étudié.

Il n'y a pas d'entropie sans observateur, et pas d'information sans entropie.

Cordialement

[Sethy]

J'avoue que cette discussion me laisse perplexe.

J'ai essayé de comprendre les points de vue exposés par chacun des intervenants et j'ai l'impression (j'ai bien dit impression) que tout le monde y va de sa théorie personnelle tant il y a peu de recouvrements entre les différents point de vue. Je sais que certaines interventions se bornent à présenter le point de vue actuel des physiciens.

Alors bien sûr, certaines interventions sont plus dans l'esprit de la question (image à destination d'étudiants induisant donc une certaine vulgurisation) et d'autres se voulant plus théoriques s'en éloignent. Ce n'est pas cette différence de niveau de discours qui est l'enjeu de mon intervention, c'est bien le fond.

Ce que je trouve un peu dommage en tant que lecteur, c'est que les frontières entre ce qui est généralement admis par la majorité des physiciens d'une part, ce qui est remis en cause par une poignée d'entre eux d'autre part et enfin, les interprétations personnelles, ne sont pas claires.

Dès qu'un élément soulève le doute, c'est l'ensemble de l'intervention qui perd en crédibilité. C'est la justement qu'une séparation claire entre ce qui est généralement admis et ce qui est remis en cause est salutaire.

Bon, heureusement, il y a au moins un intervenant qui attire l'attention sur des confusions habituellement faites et qui j'ai l'impression se vérifient dans l'interprétations d'autres intervenants.

Enfin, deux remarques sur l'exercice en lui-même :

1) je rejoins l'avis de Chavrondier quand il écrit : "se limiter à ce que l'on a soi-même parfaitement compris et se trouve légitimé par des références incontestables". Ici je vais même plus loin, on se doit d'exposer la théorie généralement admise par la majorité des physiciens. Tout au plus peut-on indiquer à l'auditoire qu'il existe d'autres points de vue alternatif et (tout en ayant attiré l'attention sur sa préférence pour ses points de vue alternatifs) les décrire très brièvement.

2) je le rejoins également dans sa seconde remarque et j'irais même un cran plus loin en invitant à se poser la question suivante : "fait-on un exposé pour eux - ou - le fait-on pour soi ?". Il faut un peu des deux bien sûr, mais en principe, le curseur devrait quand même sérieusement pencher dans un sens.

[sunyata]

Bonjour,

Mon post en effet tentait de formuler à coup de hache des intuitions pour moi-même, qui auraient plus la place dans le forum "épistémologie".

Merci de zapper mon post et de ne de pas en tenir compte...

Cordialement

[yvon l]

A mon avis, il faut :

• se limiter à ce que l'on a soi-même parfaitement compris et se trouve légitimé par des références incontestables,
• identifier l'information que l'on souhaite transmettre en se posant la question suivante et en tâchant d'y répondre au mieux : à la fin de mon exposé, à quelles questions d'un quizz construit pour vérifier les connaissances acquises suite à cet exposé est-ce que j'espère pouvoir obtenir une bonne réponse ?

Là, je suis tout à fait d’accord avec cette analyse, d’autant plus qu’elle me renvoie à mon parcourt professionnel (voila déjà longtemps). En Belgique , en tant qu’enseignant jai été pendant plus de 20 ans responsables d’une classe d’enseignement technique de spécialisation (automatisme). Un genre de bac+1 (mais je ne connais pas bien) pour technicien. (en Belgique l’enseignement technique est encore différent de l’enseignement professionnel, et se rapproche,,surtout à l’époque de l’enseignement général quant à ses exigences.
Depuis que je participe au forum de Futura, j’ai pu constater une forte différence entre participants suivant leur formation de base, soit entre physiciens, soit entre débatteurs ayant une formation axée sur les sciences appliquées. Si je prends l’exemple d’une question se rapportant à un moteur électrique, un moteur thermique, un problème portant sur un système pneumatique, hydraulique… Je peux repérer tout de suite si la question/réponse est celle d’un physicien. Ceci aboutit à une incompréhension entre différentes rhétoriques assimilables à des langages privés.

Maintenant pour en revenir au thème du fil.
Mon souci est le suivant.
1) Sachant que l’entropie est issue de la science appliquée qu’est la thermo, et que l’information est issue d’une autre science appliquée que sont les télécommunications.
2) Que la physique parle d’un lien entre ces 2 concepts,
3) Dans d’autres sciences entropie et informations sont également utilisées (chimie, biologie …)

4) Peut-on dire que, dans ces différentes sciences l’information relève d’un concept commun ?
5) Ce(s) concept(s) d’information a (ont) il(s) un lien fort avec le(s) concept(s) d’entropie? .

[Sethy]

Là, je suis tout à fait d’accord avec cette analyse, d’autant plus qu’elle me renvoie à mon parcourt professionnel (voila déjà longtemps). En Belgique , en tant qu’enseignant jai été pendant plus de 20 ans responsables d’une classe d’enseignement technique de spécialisation (automatisme). Un genre de bac+1 (mais je ne connais pas bien) pour technicien. (en Belgique l’enseignement technique est encore différent de l’enseignement professionnel, et se rapproche,,surtout à l’époque de l’enseignement général quant à ses exigences.

L'équivalent des A2 belge, c'est le Bac Pro en France.

Il y avait aussi la 7ème, qui est effectivement après la 6ème (= terminale) et qui est à cheval entre la formation d'un Bac Pro condensée sur une année (uniquement les cours techniques) et les cours techniques/pratiques qu'on a en Bac+1/Bac+2.

L'équivalent des A1 belge, c'est plus le DUT ou le BTS je crois. Mais je ne connais pas bien la différence entre les deux.

[Sethy]

Bonjour,

Mon post en effet tentait de formuler à coup de hache des intuitions pour moi-même, qui auraient plus la place dans le forum "épistémologie".

Merci de zapper mon post et de ne de pas en tenir compte...

Cordialement

Ton premier ou ton second post ? Pour ma part, je trouvais certaines remarques du premier assez en rapport avec ce que je connais.

Notamment dans le sens où, selon moi, l'indiscernabilité totale n'est pas une conséquence du grand nombre, mais de la nature quantique des fermions.

Même dans une collision unique, les particules sont indiscernables comme on peut le voir imagé sur cette page wiki : https://fr.wikipedia.org/wiki/Particules_indiscernables

[yvon l]

L'équivalent des A2 belge, c'est le Bac Pro en France.

Il y avait aussi la 7ème, qui est effectivement après la 6ème (= terminale) et qui est à cheval entre la formation d'un Bac Pro condensée sur une année (uniquement les cours techniques) et les cours techniques/pratiques qu'on a en Bac+1/Bac+2.(..)
.

Plutôt une continuation (pas un condensé) de ce qu'on appelait anciennement A2. A2 correspondant à la filière technique, elle-même différentes de la filière professionnelle. (mais toutes les 2 qualifiantes).

[yvon l]

Je propose pour commencer de discuter d’une définition possible*:
Comme l’énergie, l’information est un concept très abstrait difficile à définir alors pourrait-on dire?:
l’information est quelque chose qui apparaît entre 2 systèmes, et qui permet à l’un de connaître (de renseigner) l’état de l’autre.
(l’énergie est quelque chose qui s’appréhende lorsque elle se manifeste par ce qu’on appelle des transferts entre 2 systèmes)

[sunyata]

Ton premier ou ton second post ? Pour ma part, je trouvais certaines remarques du premier assez en rapport avec ce que je connais.

Notamment dans le sens où, selon moi, l'indiscernabilité totale n'est pas une conséquence du grand nombre, mais de la nature quantique des fermions.

Même dans une collision unique, les particules sont indiscernables comme on peut le voir imagé sur cette page wiki : https://fr.wikipedia.org/wiki/Particules_indiscernables

Je parle du second...pour le reste je suis d'accord !

[sunyata]

Yvon

Pour l'énergie, il me semble qu'il n'y a pas nécessairement transfert. Cela peut être une énergie
potentielle. Un condensateur par exemple.

Pour l'information :

Une définition pourrait être : Le nombre de questions qu'il faut poser pour décrire la configuration d'un système, et qui peut être quantifié en nombre de bits.

Ainsi lorsque je lance un dé à 6 faces, la quantité d'information obtenue en connaissant le résultat du lancé est de 2,6 bits.

Mais ton sujet d'étude me semble plus se situer dans le cadre des systèmes ouverts, oú la notion d'information est liée à des flux c'est ça ?

[yvon l]

(..)
Pour l'énergie, il me semble qu'il n'y a pas nécessairement transfert. Cela peut être une énergie
potentielle. Un condensateur par exemple.(..)

L’énergie est quelque chose qui s’appréhende lorsqu’elle se manifeste par ce qu’on appelle des transferts entre systèmes
Je souligne en gras le mot important de la définition . On n'a pu appréhender le concept d'énergie U à travers ses différences manifestations
Par exemple en thermo delta U = Q+W se comprend ainsi. On connaît la variation d'énergie (interne) d'un système grâce à 2 transferts c'est un l'un mécanique (structuré) et un thermique déstructuré Il est impossible de connaitre U, mais seule sa variation à travers la mesure de tous les transferts que le système subit
Si Q=0 et W=0 , U est constant, mais pas connu pour autant.

Si tu veux plus de détail sur la définition voir la conférence de R Balian : http://www.ens-lyon.fr/asso/groupe-s...php?id=rbalian

(..)
Mais ton sujet d'étude me semble plus se situer dans le cadre des systèmes ouverts, oú la notion d'information est liée à des flux c'est ça ?

Pour moi, dans un cadre général, l'information est un truc (un mécanisme) protéiforme par lequel l'observateur et l'observé (locuteur- écouteur ), entre en relation. Par exemple:
A l'échelle cellulaire: comment une cellule entre en relation avec une autre cellule.
A notre notre échelle: comment le moteur à vapeur va maintenir sa vitesse à l'aide du (grâce à sa relation avec le) régulateur de watt ( système bouclé )

[Paradigm]

l’information est issue d’une autre science appliquée que sont les télécommunications.

La vidéo que vous avez mentionné ne parle pas de ce concept d'information, mais plutôt des autres théories de l'information en lien avec le notion de complexité : La théorie algorithmique de l'information de Kolmogorov/complexité aléatoire ou la profondeur logique de Bennet/complexité organisée. Je vous conseille l'ouvrage de Jean-Paul Delahaye Information, complexité et hasard.

Résumé
La notion d'information dispose-t-elle d'une ou de plusieurs théories satisfaisantes ? Mathématiquement, elle en dispose de nombreuses dont nous tentons de montrer qu'aucune n'est en mesure de constituer une théorie complète et définitive de l'information. Nous insistons sur l'intérêt de théories récentes comme celle de Kolmogorov et celle de Bennett. En physique, le concept d'information est difficile à identifier malgré des liens souvent évoqués avec la thermodynamique, liens qui semblent avoir subi une refonte de première importance très récemment grâce aux travaux de Bennett et Zurek. Quant à la biologie, elle cumule toutes les difficultés, car de toute évidence un sens pragmatique doit être attribué au concept d'information biologique qui rend inadéquates ou incomplètes les théories mathématiques de l'information et peu probable l'utilité des théories thermodynamiques de l'information. Ce chapitre est une introduction générale aux chapitres 2, 3 et 4 qui reprennent, en les détaillant, certains des points mentionnés ici.

Dans le domaine de la physique et des théories de l'information quelques anecdotes sont relevées

Plus étonnant est Stonier 1990 où sans même mentionner la théorie algorithmique de l'information, ce qui est un comble pour un ouvrage aux ambitions si généralistes, on va jusqu'à conjecturer l'existence d'une particule appelée 'infon' qui serait le quanton de l'information comme le photon est celui de la lumière; tout cela sans qu'aucune réflexion de fond sur les théories mathématiques ou thermodynamiques de l'information ne soit présentée. Nous n'évoquerons pas certains délires purement littéraires (quoi que pensent ceux qui les commettent) où le nombre d'apparitions du mot 'information' est inversement proportionnel à la rigueur adoptée pour manipuler le concept.

Plus sérieusement, plusieurs problèmes se posent pour introduire le concept d'information en physique. Il semble que même pour les plus simples de ces problèmes aucune solution définitive ne s'impose aujourd'hui.

Cordialement,