Probabilités quantiques, entropie, énergie & information.

[Amanuensis]

Que pensez-vous de la définition suivante :

Qu'elle ne résout aucune des difficultés soulevées par le mot information.
-----

[invitea4732f50]

Peut-être parce que le concept d'information manque de netteté ?
...
Qu'elle ne résout aucune des difficultés soulevées par le mot information.

Bonjour,

Ce n'est peut-être pas le concept d'information qui manque de netteté, mais le fait que l'information ne peut se concevoir en dehors d'un relation impliquant un observateur et son objet observé.

Pour compléter ma définition peut-être devrais-je écrire :

Information : Ce qui réduit l'incertitude, dans le cadre d'une relation établie entre un observateur et son objet d'observation.

Cordialement

[Deedee81]

Salut,

Ce n'est peut-être pas le concept d'information qui manque de netteté, mais le fait que l'information ne peut se concevoir en dehors d'un relation impliquant un observateur et son objet observé.

Non, pas toujours.

Par exemple, l'information au sens de la théorie de l'information ne nécessite par de relation entre un observateur et son objet observé.

Une définition universelle peut donc être quelque peu difficile.

Mais je pense tout de même qu'en physique, celle de la théorie de l'information est la plus utile :
http://fr.wikipedia.org/wiki/Th%C3%A...%27information

J'aime bien aussi la définition de Kolmogorov
http://fr.wikipedia.org/wiki/Th%C3%A...%27information

[Amanuensis]

Mais je pense tout de même qu'en physique, celle de la théorie de l'information est la plus utile :
http://fr.wikipedia.org/wiki/Th%C3%A...%27information

Cela ne couvre que les "capacités" (débit max d'un canal qq source, débit min d'une source qq canal, même chose pour mémoire). On se trouve un peu comme la thermique avant l'unification de la chaleur et de l'énergie : on théorisait les transferts de chaleur avec un concept de chaleur purement phénomènologique.

J'aime bien aussi la définition de Kolmogorov
http://fr.wikipedia.org/wiki/Th%C3%A...%27information

Pareil, limité à la notion de source.

Très insuffisant pour relier dQ/dT et information.

[Deedee81]

Salut,

Très insuffisant pour relier dQ/dT et information.

Ca s'étend facilement. Il suffit de dire que c'est le nombre de bits nécessaire à la description d'un système (au sens de Kolmorogov, évidemment, sinon on peut avoir autant de bvits que nécessaire ).

Le défaut c'est que c'est applicable uniquement dans un cadre théorique donné. Par exemple, en physique statistique dans le cadre de la MQ, la description des états (l'entropie n'est autre que ça, à une constante multiplicative près. Le nombre de bits est le logarithme en base deux de la probabilité thermodynamique). C'est d'ailleurs de cette manière que certains résultats ont été démontré, comme celui concernant le démon de Maxwell (j'ai lu un article symp du week end dans le dernier PLS sur un système de refroidissement basé sur le démon de Maxwell ).

Ca ne peut donc servir sans précaution et ça ne peut servir de base à une théorie quelconque, ce qui serait l'idéal.

Je ne suis pas sûr non plus qu'on puisse trouver ça du coté de la logique formelle (quantique ou pas). Bien que ce soit déjà plus général. Dans les derniers articles que j'avais lu il y avait encore de sérieux problèmes théoriques à résoudre avant d'en arriver là. Mais ça reste à creuser.

Bref, une définition universelle reste difficile.

[invitea4732f50]

Salut,
Non, pas toujours.
Par exemple, l'information au sens de la théorie de l'information ne nécessite par de relation entre un observateur et son objet observé.

Bonjour,

Je ne suis pas trop d'accord avec ce point de vue : Je pense au contraire que l'information ne peut pas se concevoir en dehors du cadre d'une relation Observateur/observé.

C'est cette relation, qui induit l'incertitude de la mesure, lorsque l'énergie de la mesure, approche de l'ordre de grandeur de l'entité mesurée. Il me semble que l'incertitude de la mesure vient justement de cette relation.

En thermodynamique, la même chose est suggérée par le démon de Maxwell. En séparant les particules énergétiques, de celles qui le sont moins, on peut réduire l'entropie d'un système, et fournir un travail, en théorie...Sauf que l'entropie induite par l'activité du Démon de Maxwell compense exactement la réduction d'entropie du système qu'il a traité.

Le premier principe dit pourtant que l'énergie est toujours là : (rien ne se perd, rien ne se crée). Sauf que l'énergie n'est plus "utilisable".

Et ce terme "utilisable" induit la relativité par rapport à l'observateur.
Si nous avions la taille d'une molécule, le monde grouillerait de fluctuations d'énergie que nous pourrions utiliser pour faire tourner nos micro-machines.

Mais à notre échelle, ces fluctuations sont inutilisables, si elles ne créent pas un ordre, une symétrie à suffisamment grande échelle pour pouvoir être utilisées.

L'énergie négligeable des petits ruisseaux ne devient significative à notre échelle que lorsque les ruisseaux se sont réunis pour former une rivière, qui pourra alimenter un barrage.

Il y a un problème de dimension, qui nous concerne directement en tant qu'observateur, qu'on ne peut éluder.

C'est pourquoi je pense qu'il y a une part de relativité dans la notion d'énergie utilisable sous forme de travail, car cela dépend de l'échelle d'observation et donc de l'observateur.

Je pense donc que ma définition est intéressante dans le sens où elle introduit le problème de la mesure, et fait le lien avec le second principe de la thermodynamique.


Cordialement

[Deedee81]

Je ne suis pas trop d'accord avec ce point de vue : Je pense au contraire que l'information ne peut pas se concevoir en dehors du cadre d'une relation Observateur/observé.

[.....]

Ouroboros, sans revenir sur tes explications (assez peu claires ), ce n'est pas parce que tu as un exemple de définition de l'information qui dépend de la relation observateur / observé qu'il n'existe pas de définition qui soit non liée à la relation observateur / observé.

La définition que j'ai donné, information = logarithme de la probabilité thermodynamique, ne dépend pas de l'observateur (on peut la définir entièrement avec les propriétés intrinsèques du système).

Par contre, le fait qu'on ait les deux types de définition et que de plus elles ont toutes les deux une utilité rend amha caduque une définition universelle.

Il vaut mieux des définitions appropriées aux domaines et problèmes étudiés.

[invite6754323456711]

information = logarithme de la probabilité thermodynamique,

Ce sont des statistiques bayésiennes ? Qui consiste à probabiliser un paramètre inconnu en lui associant une loi de probabilité sur l’espace Θ dite loi a priori. Cette loi représente l’ensemble des informations/connaissances a priori disponibles sur le paramètre θ ainsi que les imprécisions qui s’y rattachent.

Si l’on s’en tient à un modèle paramétré de densité fθ (x), où la variable aléatoire (et l’observation) x évolue dans un espace probabilisé X et où θ est le paramètre indiçant la densité, à valeurs dans l’espace Θ.

Dans un contexte pratique, la loi a priori regroupe aussi l’ensemble des opinions d’experts qui, si elles ne sont que rarement probabilisées, sont souvent suffisamment différentes pour devoir être probabilisées !

Patrick

[invite231234]

Salut à tous !

Je tente une définition : l'information est ce qui peut être calculé !

@ +

[Amanuensis]

La définition que j'ai donné, information = logarithme de la probabilité thermodynamique, ne dépend pas de l'observateur (on peut la définir entièrement avec les propriétés intrinsèques du système).

Pour renforcer l'intervention de Patrick, dire que cela ne dépend pas de l'observateur implique une interprétation absolue de la notion de probabilité. Ce qui est sujet à discussion.

L'une des difficultés de la notion d'information est bien son aspect relatif (information en tant que connaissance d'une entité capable de connaissance) ou objectif (propriété modélisée appartenant à un objet, comme sa masse). Les probabilités posent exactement le même problème, et d'une certaine manière cela pourrait être exactement le même, formulé de manière différente, selon ce qu'on entend par "connaissances".

[Amanuensis]

Je tente une définition : l'information est ce qui peut être calculé !

Par qui ou quoi ?

[invite231234]

Par qui ou quoi ?

Ben, je dirais par les systèmes capables de cohérence calculatoire ... euh ... là non ?

@ +

[Deedee81]

Désolé, j'ai pas été clair mais la probabilité thermodynamique (le W dans les livre de physique statistique).... n'est pas une probabilité (ça m'a pas mal perturbé quand je l'ai vu la première fois, bien qu'il est clair qu'on puisse le relier effectivement à une probabilité au sens strice. Mais lorsque j'ai vu la première fois un truc comme : probabilité thermodynamique = 112, je suis resté perplexe).

Rovelli donnait un exemple sympa. Supposons qu'on ait un stylo posé sur une table. Il peut pointer dans une certaine direction. C'est en soit une information. Peu importe que quelqu'un soit au courant de cette situation ou pas.

Amanuensis, tu poses un autre aspect intéressant. La notion d'information peut être reliée à celle de connaissance.... ou pas !!!! C'est vraiment un terme polysémique

J'insiste sur le fait qu'il me semble totalement inique de chercher à donner une définition de l'information. Il y a des définitions adaptées à différents domaines / circonstances.

[invite231234]

J'insiste sur le fait qu'il me semble totalement inique de chercher à donner une définition de l'information. Il y a des définitions adaptées à différents domaines / circonstances.

Qu'est-ce qui nique c'est une insulte ?

[Deedee81]

Qu'est-ce qui nique c'est une insulte ?

Inique n'est effectivement pas le mot le plus adéquat puisqu'il signifie "injuste, qui manque d'équité".

"Inapproprié" peut-être ? Les mots me manquent. Ca doit être la chaleur

[invite6754323456711]

Rovelli donnait un exemple sympa. Supposons qu'on ait un stylo posé sur une table. Il peut pointer dans une certaine direction. C'est en soit une information ... [patrick] relative qui n'est pas une propriété intrinsèque du stylo ...

Rovelli tout de même

Patrick

[invitea4732f50]

Bonjour,

Il me semble intéressant de considérer ce qu'est l'information pour un observateur. Un observateur est un être vivant, qui exploite les flux d'entropie. L'exploitation de ces flux d'entropie, c'est ce que nous désignons par le terme "travail".
Le soleil agit en tant que source chaude, tandis que la terre agit en tant que source froide.
Cette notion de "travail" dépends bien de notre aptitude à exploiter les flux d'entropie, dans le sens de la survie.Les flux d'entropie, permettent d'informer la matière vivante, en maintenant son haut niveau d'ordre et de complexité.
Alors que le premier principe nous dit que l'énergie est conservatrice, le second principe fait intervenir une notion qualitative.
L'information au sens biologique du terme, nous permet de survivre, en exploitant les flux d'entropie.
On peut dire sous forme de boutade que la complexité anthropique, est intiment liée aux flux d'entropie.
La notion d'information, peut-être définie objectivement, mais elle a aussi une forte valeur subjective.
En fait les flux d'entropie permettent l'émergence de la complexité du vivant, le vivant pour se perpétuer, cherche a exploiter ces flux d'entropie, en canalisant l'énergie de manière adéquate.
On comprends pourquoi les concepts d'entropie et d'information sont fortement liés.
Sans flux d'entropie, l'existence de notre subjectivité serait remise en cause, la vie serait impossible.

Cordialement

[invite6754323456711]

La notion d'information, peut-être définie objectivement, mais elle a aussi une forte valeur subjective.

Inter subjectivement tu voulais dire non ? Un bon nombre s'y seraient essayé.

Par exemple l’intention de Marcia J. Bates est de synthétiser les différentes acceptions du concept d’information de manière à ce qu’il soit utilisable en physique, en biologie, en sciences humaines et sociales.

Dans la vision de Bates, l’information, au même titre que l’énergie, est conçue comme une propriété essentielle de l’univers, qui est supposé "objectivement" obéir à des patterns (canevas, dessin, modèle) organisationnels et/ou structurels de matière et d’énergie, qu’un “système interprétant” y prête attention ou pas.

Cette façon de voir a été critiquée par Rafael Capurro et Birger Hjorland (2003), parmi d’autres, qui lui préfèrent une conception située et subjective de l’information, où l’interprétant cognitif est nécessaire.

Extrait de http://hal.archives-ouvertes.fr/docs...010_-MCX10.pdf

Patrick

[chaverondier]

La définition que j'ai donnée

Je l'aménage et la complète légèrement : [entropie de l'état macroscopique d'un système] = [manque d'] information [pour définir l'état microphysique d'un système dont l'état macroscopique est parfaitement connu] = [espérance du] logarithme de la [densité de] probabilité thermodynamique [(dans l'espace de phase du système) caractérisant l'état macroscopique du système.]

ne dépend pas de l'observateur (on peut la définir entièrement avec les propriétés intrinsèques du système).

Pas convaincu. En effet, le manque d'information (l'entropie) associé à l'état macroscopique d'un système physique découle du choix des variables dites d'état caractérisant cet état macroscopique. Au fur et à mesure que l'on complète la description de l'état du système (en augmentant le nombre de variables d'états définissant "son" état macroscopique) on réduit le nombre de systèmes, d'états microphysiques distincts, ayant même état macroscopique.

Le logarithme du nombre de systèmes considérés comme "macroscopiquement indiscernables" c'est l'entropie, c'est à dire la quantité d'information manquant à l'observateur macrocopique pour connaître complètement l'état du système. C'est donc le logarithme en base 2 du nombre de systèmes perçus comme identiques par une certaine classe d'observateurs. Il diminue si l'observateur choisit de définir l'état macroscopique avec plus de précision (mais chaque multiplication par 10 du nombre de variables choisies pour caractériser un état macroscopique modifie seulement faiblement l'entropie qui lui est associé, car l'information manquante reste considérablement plus élevée que l'info disponible).

La quantité d'information manquante associée à l'état macroscopique d'un système, c'est donc le nombre de bits nécessaire pour localiser le bon état d'un système parmi un ensemble d'états distincts du système ayant cependant le même état macroscopique (défini par un même ensemble de grandeurs d'état, le choix de cet ensemble caractérisant une classe d'observateurs donnée).

[Amanuensis]

La quantité d'information manquante associée à l'état macroscopique d'un système, c'est donc le nombre de bits nécessaire pour localiser le bon état d'un système parmi un ensemble d'états distincts du système ayant cependant le même état macroscopique (défini par un même ensemble de grandeurs d'état, le choix de cet ensemble caractérisant une classe d'observateurs donnée).

Ce qui ressemble furieusement à une probabilité conditionnelle (à son log) avec un prior d'équiprobabilité, selon l'interprétation subjective des probas. I.e., la proba ne porte pas sur le système mais sur les connaissances que 'on' a du système, proba conditionnellement à ce que 'on' connaît (grandeurs d'états) et d'a prioris formalisés (équiprobabilités des états distinguables).

[invitea4732f50]

Il diminue si l'observateur choisit de définir l'état macroscopique avec plus de précision (mais chaque multiplication par 10 du nombre de variables choisies pour caractériser un état macroscopique modifie seulement faiblement l'entropie qui lui est associé, car l'information manquante reste considérablement plus élevée que l'info disponible).
La quantité d'information manquante associée à l'état macroscopique d'un système, c'est donc le nombre de bits nécessaire pour localiser le bon état d'un système parmi un ensemble d'états distincts du système ayant cependant le même état macroscopique (défini par un même ensemble de grandeurs d'état, le choix de cet ensemble caractérisant une classe d'observateurs donnée).

Et si j'ai bien compris, pour obtenir cette quantité d'information manquante sur le système, il faudrait consommer une quantité d'énergie qui causerait un nouvel accroissement de l'entropie globale.

Obtenir une information c'est réduire l'incertitude, mais plus on veut réduire l'incertitude plus on augmente l'entropie.

Voilà pourquoi on peut dire que l'entropie dépend bien de l'observateur, et du niveau de réduction de l'incertitude, qu'il souhaite obtenir.

Mais et c'est là, que le problème de la mesure intervient, il existe un seuil au delà duquel, il devient absurde, de vouloir extraire plus d'information d'un système car le coût de cette extraction serait prohibitif, qu'il devient préférable considérer la symétrie du système, et de la caractériser sur un plan statistique.

Pour moi cela confirme bien que la notion d'information doit prendre en compte l'interaction de l'observateur avec son objet d'observation.

Cordialement

[invitea4732f50]

Bonsoir,

En fin de compte, l'information nous permet de jouer le rôle du "démon de Maxwell" inversant l'entropie par son intervention. Leo Szilard avait déjà fait le rapprochement en 1929, montrant que "le démon de Maxwell ne parvient à faire décroître l'entropie du gaz que grâce à des informations en sa possession" (p218). Ce rôle de l'information décisif dans le monde de la vie, au niveau macroscopique, se révèle beaucoup plus limité au niveau microscopique, surtout dans le domaine énergétique, c'est-à-dire dans le domaine strictement thermodynamique... En 1950, Léon Brillouin calculera le coût énergétique minimum de toute information, selon le principe de Gabor (No free lunch) qu'on n'a rien pour rien, même pas une observation ! C'est ce qui permet de déterminer "l'efficience d'une expérience, par le rapport entre l'information acquise sur le coût entropique".

Entropie, énergie et information

“Un des résultats les plus importants de la théorie de l’information appliquée à la physique est la preuve selon laquelle il est impossible de déterminer l’état d’un système avec une précision infinie”, puisqu'alors il faudrait une énergie infinie.

Cordialement

[Deedee81]

Salut,

Rovelli tout de même

Ouuups, mon exemple tiré de Rovelli était incomplet et là dessus totalement à coté de la plaque.

On n'est pas sorti de l'auberge, surtout quand je vois les messages qui ont suivi. Pfffffffff

Celui-ci, par exemple est hautement pertinent :

“Un des résultats les plus importants de la théorie de l’information appliquée à la physique est la preuve selon laquelle il est impossible de déterminer l’état d’un système avec une précision infinie”, puisqu'alors il faudrait une énergie infinie.

On a un problème analogue en MQ bien qu'il s'agisse d'une situation et d'une raison totalement différente. Il est impossible pour un système d'avoir une connaissance de lui-même complète. C'est un résultat issu de la logique quantique.

Cela rend non seulement l'information relative (je fais comme Dutronc, et je retourne ma veste . Tes arguments ainsi que ceux de Chaverondier, u100fil et Amanuensis m'ont largement convaincu) mais aussi sacrément mouvante.

C'est encore pire que ce que je croyais

[invite93279690]

Juste pour mentionner un papier que j'ai trouvé ce matin sur arxiv en relation avec le fil de discussion
Convergence of repeated QND measurements and the wave function collapse

[chaverondier]

“Un des résultats les plus importants de la théorie de l’information appliquée à la physique est la preuve selon laquelle il est impossible de déterminer l’état d’un système avec une précision infinie”, puisqu'alors il faudrait une énergie infinie.

“En 1950, Léon Brillouin calculera le coût énergétique minimum de toute information, selon le principe de Gabor (No free lunch) qu'on n'a rien pour rien, même pas une observation !

Je ne crois pas trop que ce résultat puisse être obtenu sans supposer (implicitement) l'hypothèse dont on cherche à se passer, c'est à dire, en définitive, le second principe de la thermo. Je ne crois pas que l'on puisse établir l'impossibilité de réaliser un démon de Maxwell sans supposer qu'il soit impossible...de réaliser un démon de Maxwell.

Toutefois, je pense comprendre (à peu près, mais seulement qualitativement) pourquoi il n'est pas possible de réaliser un démon de Maxwell. Il s'agit du fait que, pour stocker de l'information protégée des agressions de l'environnement, il faut la stocker dans un bain thermique, bain dans lequel la précieuse information est soigneusement conservée.

Toutefois, cela a un prix : ce prix n'est pas énergétique (la crise de l'énergie est, en fait, une crise de l'entropie car l'énergie se conserve, mais l'information s'échappe hors de portée de l'observateur macroscopique transformant ainsi "l'énergie noble" en chaleur) ce prix est informationnel. On doit accepter de sacrifier toute possibilité d'accéder à l'information décrivant de façon détaillée l'état du bain thermique en question.

Si on voulait enregistrer l'information décrivant en détail l'état du bain thermique en question, il faudrait créer autant de bains thermiques (d'états inconnus en détail) que d'informations (de grandeurs physiques) à enregistrer pour caractériser complètement l'état de ce bain.

Bref, le second principe de la thermodynamique est (d'un point de vue informationnel) l'expression d'une sorte de rendement informationnel indépassable. D'un point de vue fondamental, ça n'a pas grand chose à voir (à mon avis) avec des considérations de dépense d'énergie. Ce sont des "dépenses" (des créations en fait) d'entropie que l'on doit réaliser. Bref, préserver une information qu'on juge précieuse exige le sacrifice d'une quantité d'information beaucoup plus considérable mais que l'on accepte de sacrifier parcequ'on la juge sans intérêt vis à vis d'un objectif visé.

[invite6754323456711]

Bonsoir,

http://forums.futura-sciences.com/de...formation.html

L’analogie entre information et entropie peut donc nous conduire à deux représentations tout à fait opposées de l’information, selon qu’on se représente l’information comme l’expression d’une propriété objective, le degré d’organisation (Wiener) ou l’expression d’une propriété subjective, le degré de précision de notre connaissance expérimentale (Brillouin).

Cette dualité ne tombe pas du ciel sur un concept d’information qui n’en demandait pas tant, elle poursuit et amplifie au contraire une ligne de clivage au sein du concept mathématique d’information. En choisissant de nommer information la fonction H, puis en y accolant le terme d’entropie, Shannon ou Wiener, se sont installés délibérément sur la ligne de faille entre probabilité épistémique et probabilité fréquentiste.

Patrick

[invitea4732f50]

En choisissant de nommer information la fonction H, puis en y accolant le terme d’entropie, Shannon ou Wiener, se sont installés délibérément sur la ligne de faille entre probabilité épistémique et probabilité fréquentiste.

Bonjour,

C'est un choix qui me semble d'autant plus judicieux si l'on considère le fait, que les probabilités, qu'elles soient épistémiques ou fréquentistes,
correspondent bien à la définition générale du concept d'Information :
Qui est une réduction de l'incertitude.

Cordialement,

[invitea4732f50]

Cette réduction d'incertitude, a par ailleurs une valeur anthropique, puisque l'information permet d'utiliser l'énergie sous forme de travail.
Et on voit ainsi bien le lien entre information, et la notion qualitative, d'entropie. Nous sommes comme les démons de Maxwell, nous utilisons notre "intelligence", dépensons de l'énergie, pour stocker de l'énergie, qu'on utilisera, pour "Informer" notre environnement, et le configurer selon nos besoins.

Cordialement

[invitea4732f50]

Re-bonjour,

J'ajouterai, qu'il n'est pas étonnant, que le concept d'entropie, ait une composante objective, aussi bien que subjective.
Car l'entropie mesure en quelque-sorte le "taux dispersion de l'énergie"(aspect objectif),et plus l'énergie est dispersée, moins elle est organisée, moins elle est utilisable sous forme de travail (Aspect subjectif, c'est à dire à valeur "anthropique").
- Le premier principe dit que l'énergie est conservatrice.
- Le second principe que l'énergie est plus ou moins dispersée, plus ou moins apte à fournir un travail. ( Energie = Travail + Pertes ).

Cordialement,