De la notion d'Entropie

[invite9ac7aecb]

Bonjour,

Dans le cadre d'un projet de synthèse, je dois m'intéresser à la théorie de l'information. J'essaie donc de bien comprendre les notions fondamentales sous-jacentes, et j'ai quelques questions sur le sujet.

1re question : Entropie de Shannon = espérance ?

Quand on essaie de définir l'entropie de Shannon à l'aide d'une approche heuristique, on peut lire : "plus un message est probable, moins il apporte d'information". Puis, on posera , H en bits, avec . Ce qui signifie donc que la quantité d'information apportée par un message ne dépend finalement pas du message reçu.

Or, dans sa forme, H semble être une espérance. Je m'étais donc imaginé que la réception du message apportait (en bits) information, et que la réception d'un message quelconque apporte en moyenne H. Mais je n'ai trouvé nulle part pareil raisonnement ; je me dis que le mien est sûrement faux. Pouvez-vous m'éclairer là-dessus svp ?

2e question : Entropie thermodynamique en physique statistique : nombre de microétats ?

Similairement, l'entropie en thermodynamique est, d'après la célèbre formule de Boltzmann, proportionnelle au logarithme du nombre de microétats dans lequel le système peut se trouver. Mais comment définit-on un microétat ? Est-ce la donnée de tous les couples (position, quantité de mouvement) ? Dans ce cas, si l'espace est continu, ne devrait-on pas avoir une infinité (et même, une infinité indénombrable !) de microétats possibles ? Et d'ailleurs, d'après l'inégalité de Heisenberg, cette donnée n'est même pas accessible… donc je sèche un peu

3e question : Entropie et température thermodynamiques = problème de l'œuf et de la poule ?

J'ai essayé de comprendre comment se définissait l'entropie en physique statistique ; en dehors du de la question précédente, l'autre terme fondamental est la constante de Boltzmann, qu'on nous dit valoir . Mais qu'est-ce que le kelvin ? Sa définition requiert de se placer au point triple de l'eau, dans un diagramme température-pression. Qu'est-ce que la température alors ? Une dérivée de l'énergie interne par rapport à… l'entropie

Bref, j'ai l'impression qu'il y a là un serpent qui se mord la queue…

Si les notions d'entropie, qu'il s'agisse de S ou de H, sont similaires, alors S devrait se mesurer "sans unité" (à la base du logarithme utilisé près : bits, trits, nats, et j'en passe). La constante de Boltzmann devrait donc être adimensionnée, ce qui signifie que la température, finalement, ne serait que la mesure d'une énergie (ce qui semble logique, si la température relève l'agitation thermique, donc l'énergie cinétique). Mais comme il n'est pas dans mes habitudes de prendre les physiciens pour des idiots, je me dis qu'ils ont une bonne raison de faire autrement.

Pouvez-vous m'éclairer sur l'une ou plusieurs de ces questions, svp ?
-----

[invite490b7332]

Quand on essaie de définir l'entropie de Shannon à l'aide d'une approche heuristique, on peut lire : "plus un message est probable, moins il apporte d'information". Puis, on posera , H en bits, avec

Prenons le cas concret de deux parieurs de course de chevaux qui discutent ensemble:

Premier parieur :"Alors qui est arrivé premier dans la neuvième à Saint cloud?"
Deuxième parieur :"Le 2"
Premier parieur :"Ouai, c'était le favori, tu ne m'apprends pas grand chose" (information faible car résultat très probable)

Premier parieur :"Et dans la septième à Angoulème?"
Deuxième parieur :"Le 3"
Premier parieur :"Quoi?!, c'était un canasson! Quelle nouvelle" (information forte car résultat très peu probable)

[invite9ac7aecb]

Oui, je suis d'accord, et je ne remets pas ça en cause, au contraire.

Ce que je dis, c'est que l'information, pour reprendre votre exemple, du cheval gagnant, est quantifiée par H, quel que soit le résultat (le 2 ou le 3).

Et c'est pour ça que j'ai l'impression que H est une espérance. Mais comme je n'ai rien trouvé de tel comme explication, je m'interroge sur la justesse de mes interrogations.

Merci pesdecoa de vouloir m'aider

[invite93279690]

Oui, je suis d'accord, et je ne remets pas ça en cause, au contraire.

Ce que je dis, c'est que l'information, pour reprendre votre exemple, du cheval gagnant, est quantifiée par H, quel que soit le résultat (le 2 ou le 3).

Et c'est pour ça que j'ai l'impression que H est une espérance. Mais comme je n'ai rien trouvé de tel comme explication, je m'interroge sur la justesse de mes interrogations.

Merci pesdecoa de vouloir m'aider

Salut,

H est effectivement l'esperance de la ' surprise' pour un système donné.

Cela me semble etre plutôt connu et traité dans tous les ouvrages de physique statistiques abordant le point de vue informationnel.

[A voir en vidéo sur Futura]

[invite9ac7aecb]

Merci beaucoup gatsu !

Pouvez-vous m'aider également pour mes deux autres questions ?

[Amanuensis]

L'entropie de Shannon parle de capacité max transportable par un canal, et réciproquement de capacité minimale pour transporter un flux de caractéristiques statistiques données.

En dériver de là une notion de "information apportée par un message donné" est périlleux, au minimum.

Les notions de capacités informationnelles soit opératoires, elles permettent de dimensionner, de déterminer l'efficacité d'algorithmes de compression, de correction d'erreur, etc. Curieusement, elles ne nécessitent pas vraiment de définir ce qu'est l'information.

Donner un sens opérationnel (et donc objectif) à "information apportée par un message" est bien plus difficile. C'est pour cela qu'on ne présente pas H comme la moyenne de l'information apportée.

[invite9ac7aecb]

D'accord, je crois que je vois. Merci

(idem que le précédent message : même si ça s'écarte de mon projet de synthèse, je suis curieux de comprendre la notion d'entropie en thermodynamique, donc pouvez-vous m'aider ?)

[invite93279690]

L'entropie de Shannon parle de capacité max transportable par un canal, et réciproquement de capacité minimale pour transporter un flux de caractéristiques statistiques données.
En dériver de là une notion de "information apportée par un message donné" est périlleux, au minimum.

Certes.

Donner un sens opérationnel (et donc objectif) à "information apportée par un message" est bien plus difficile. C'est pour cela qu'on ne présente pas H comme la moyenne de l'information apportée.

Ah bon ? Pourtant le premier lien de math sur le sujet pris au pif dans la première page google me sort ça. La reécriture de l'entropie H comme une espérance est faite dès la première page.

[Amanuensis]

Un papier que je trouve intéressant dans le domaine est celui-ci :

http://www.racing.saratoga.ny.us/kelly.pdf

[Amanuensis]

Ah bon ? Pourtant le premier lien de math sur le sujet pris au pif dans la première page google me sort ça. La reécriture de l'entropie H comme une espérance est faite dès la première page.

Que la formule puisse s'écrire comme une espérance n'est pas en cause. La question est la signification en tant que "information apportée par tel message". Merci de relire mon message avec cela en tête.

[Amanuensis]

PS : Le papier de Kelly me semble donner une lueur sur la signification opérationnelle, en tant qu'amélioration de gain à des paris. Ce qu'ajoute chaque message, c'est un biais favorable pour le gain, et H apparaît comme le paramètre d'une courbe de régression exponentielle pour la fonction donnant les gains en fonction du temps. Cela permet d'aller plus loin que la simple comparaison de capacités.

Autre point intéressant, l'information "au sens commun" est alors relative à la nature des paris, ce qui donne une piste pour la différence entre information de Shannon (capacité) et information "au sens commun".

Et autre point à noter, Kelly donne un sens à l'unité "bit" au-delà de simple "choix binaire", car un symbole bruité (qui n'amène statistiquement que 0.8 bit par exemple) est exploitable en lui-même, et cela permet de définir l'information sans se ramener à des "bits entiers" (par exemple via un codage).

[invite9ac7aecb]

PS : Le papier de Kelly me semble donner une lueur sur la signification opérationnelle, en tant qu'amélioration de gain à des paris. Ce qu'ajoute chaque message, c'est un biais favorable pour le gain, et H apparaît comme le paramètre d'une courbe de régression exponentielle pour la fonction donnant les gains en fonction du temps. Cela permet d'aller plus loin que la simple comparaison de capacités.

Pas tout compris à ce passage, mais j'ai pas mal de lecture à faire, je comprendrai ça plus tard - j'espère

En tout cas, merci à vous deux, j'ai eu ma réponse à la première question

Personne pour m'aider sur les deux suivantes ?

[Amanuensis]

Similairement, l'entropie en thermodynamique est, d'après la célèbre formule de Boltzmann, proportionnelle au logarithme du nombre de microétats dans lequel le système peut se trouver. Mais comment définit-on un microétat ? Est-ce la donnée de tous les couples (position, quantité de mouvement) ? Dans ce cas, si l'espace est continu, ne devrait-on pas avoir une infinité (et même, une infinité indénombrable !) de microétats possibles ? Et d'ailleurs, d'après l'inégalité de Heisenberg, cette donnée n'est même pas accessible… donc je sèche un peu

Je me pose des questions similaires depuis longtemps. Un élément de réponse que j'avais trouvé utile est la formule de Sackur-Tetrode (http://fr.wikipedia.org/wiki/%C3%89q...Sackur-Tetrode), qui peut s'interpréter non pas en nombre, mais en "volume" dans l'espace des phases divisé par h^3 (un rapport sans dimension). Faut la tripatouiller un peu pour trouver le rapport que l'indique, mais on y arrive. L'indétermination de Heisenberg est prise en compte de manière parlante.

[Amanuensis]

J'ai essayé de comprendre comment se définissait l'entropie en physique statistique ; en dehors du de la question précédente, l'autre terme fondamental est la constante de Boltzmann, qu'on nous dit valoir . Mais qu'est-ce que le kelvin ? Sa définition requiert de se placer au point triple de l'eau, dans un diagramme température-pression.

kb est juste une constante de dimensionnement. Le kelvin est défini arbitrairement, ce qui donne une unité arbitraire de l'entropie. La constante de Boltzmann fait la relation entre l'unité arbitraire et la donnée sans dimension qu'est un log. On peut aussi la voir comme le choix d'une base assez bizarre pour le logarithme, précisément la base qui permet d'atterrir sur la valeur d'une température en kelvin.

ce qui signifie que la température, finalement, ne serait que la mesure d'une énergie

Non, ça c'est faux. la température est un rapport entre les variations de deux grandeurs extensives, elle est donc intensive et ne peut pas être confondue avec l'énergie. C'est de l'énergie par entropie (et cela a un rapport avec l'énergie par degré de liberté, sur comment l'énergie se distribue en moyenne sur un certain ensemble de degrés de liberté).

Si les notions d'entropie, qu'il s'agisse de S ou de H, sont similaires, alors S devrait se mesurer "sans unité" (à la base du logarithme utilisé près : bits, trits, nats, et j'en passe). La constante de Boltzmann devrait donc être adimensionnée

C'est un point compliqué. Dimensionné ou adimensionné est in fine un choix. Et donner une dimension à la température (et, même chose, à l'entropie) a quand même pas mal d'avantages. Et comme l'entropie est extensive, c'est un peu gênant de la voir sans dimension.

kb est dimensionné, parce que son rôle est bien de "donner une dimension". Cette constante est une conséquence du choix d'exprimer les températures dans une unité spécifique à la température, et choisie arbitrairement.

Par ailleurs, dire qu'un log est sans dimension se discute, mais de toutes manières il a une unité, liée au choix de la base du logarithme, choix qui est arbitraire.

[invite93279690]

Que la formule puisse s'écrire comme une espérance n'est pas en cause. La question est la signification en tant que "information apportée par tel message". Merci de relire mon message avec cela en tête.

Je m'attendais à ce que tu dises ça mais ça ne change pas grand chose puisque dans le cours en question l'entropy de Shannon est définie comme :

"Entropy is the first measure of information (average amount of uncertainty about the outcome
of a random variable)."

Après, est ce que l'entropie de Shannon est la seule possible ou pas c'est une autre question. L'information de Fisher (qui est également une moyenne) est aussi beaucoup utilisée et selon certains auteurs n'est pas associée à certaines hypothèses cachées reliée à l'entropie de Shannon (cette dernière étant la dérivée seconde en gros de l'information de Fisher). Dans certains cas, information de Fisher et de Shannon sont identiques à un signe près.

Pour la petite histoire, il y a un physicien (je ne me rappelle plus son nom mais je vais essayer de le retrouver) qui s'amuse à retrouver la physique statistique et quantique via une inférence statistique basée sur l'information de Fisher justement.

[Amanuensis]

"Entropy is the first measure of information (average amount of uncertainty about the outcome
of a random variable)."

Pour moi c'est du bla-bla. Remplacer un concept mal défini (information) par un autre tout aussi mal défini ("montant d'incertitude") ne m'amène rien.

Et en plus c'est faux, parce que c'est de la diminution de l'incertitude dont il est question (quelle que soit ce qu'on accroche à "incertitude"), et non de l'incertitude. (Point très évident si se place du point de vue bayésien, avec seulement des probabilités conditionnelles. En transmission, le savoir a priori que le signal doit avoir telle ou telle forme est en lui-même une réduction de l'incertitude de ce qu'on peut recevoir.)

Tant qu'on ne propose pas une définition opérationnelle de "quantité d'information apportée par un message", mon point reste.

[invite93279690]

Pour moi c'est du bla-bla. Remplacer un concept mal défini (information) par un autre tout aussi mal défini ("montant d'incertitude") ne m'amène rien.

Si tu veux te prendre la tête sur les mots c'est une chose mais cela ne me semble pas devoir être la règle surtout si on veut avancer. En particulier, il est vrai que la phrase "Entropy is the first measure of information (average amount of uncertainty about the outcome
of a random variable)" est plutot vague mais en même temps il suffit de spécifier à la ligne du dessous ce qu'on entend par "amount of uncertainty", ce que l'auteur du cours fait au final dès la première page.

Dans le cas de l'entropie de Shannon cet quantité est définie comme étant l'opposé du log de la probabilité alors que dans le cas de Fisher une autre définition est utilisée so what ? dans les deux cas, l'approche peut se résumer par "average amount of uncertainty about the outcome of a random variable".

Si tu trouves que ce n'est pas assez opérationnel à ton gout soit tu as raison et j'abandonne sur ce point, je pense l'auteur du fil a compris l'essentiel.

[invite490b7332]

Similairement, l'entropie en thermodynamique est, d'après la célèbre formule de Boltzmann, proportionnelle au logarithme du nombre de microétats dans lequel le système peut se trouver. Mais comment définit-on un microétat ? Est-ce la donnée de tous les couples (position, quantité de mouvement) ? Dans ce cas, si l'espace est continu, ne devrait-on pas avoir une infinité (et même, une infinité indénombrable !) de microétats possibles ? Et d'ailleurs, d'après l'inégalité de Heisenberg, cette donnée n'est même pas accessible… donc je sèche un peu

Il y a une distinction importante à bien avoir en tête. Le nombre de particules est grand,très grand mais fini.
Un micro-état est un état possible d'une particule. Chaque particule peut se trouver dans des micro-états différents.
Un micro-état se défini par une position et une vitesse. Donc un micro-état se représente par un point de coordonné (x,v) dans l'espace des phases.
Et effectivement pour chaque particule, on calcule une "moyenne" sur tout l'espace des phases (donc faisant apparaitre une intégrale double sur l'espace infini des phases)

[invite93279690]

Similairement, l'entropie en thermodynamique est, d'après la célèbre formule de Boltzmann, proportionnelle au logarithme du nombre de microétats dans lequel le système peut se trouver. Mais comment définit-on un microétat ? Est-ce la donnée de tous les couples (position, quantité de mouvement) ? Dans ce cas, si l'espace est continu, ne devrait-on pas avoir une infinité (et même, une infinité indénombrable !) de microétats possibles ? Et d'ailleurs, d'après l'inégalité de Heisenberg, cette donnée n'est même pas accessible… donc je sèche un peu

Il y a deux problèmes differents dans la question ici.

- Le premier est peut-on définir une entropie associée à un ensemble infini et indénombrable de points ? et la réponse est oui et est donnée par la théorie de la mesure et son application aux probabilités pour des variables aléatoires continues.

- Le second est "ma première remarque sur la définition d'un microétat ne tient pas compte de la mécanique quantique comment fait-on alors ?" Ce point est résolu à haute température de façon semi-classique en partitionnant l'espace des phases avec des cellules de volume , on trouve alors la formule de Sackur-Tetrode dont parle amanuensis.

Maintenant, il faut voir qu'en pratique, même si on arrive à donner un sens à l'entropie dont tu parles à haute température (soit via la théorie de la mesure soit avec une partition "fictive" de l'espace des phases qui revient au même de toute façon) cette dernière ne satisfait pas pour autant le troisième principe de la thermodynamique qui stipule que l'entropie doit être nulle à T=0 (tu peux le voir en prenant la limite de la formule de Sackur-Tetrode quand T tend vers zero).
Ceci ne peut être fait qu'en faisant un traitement complètement quantique du problème et en dénombrant tous les états quantiques accessibles au système. Alors seulement dans ce cas là, il n'existe qu'un seul microétat état (à une dégénérescence finie près) et le troisième principe de la thermo est sauf.

C'est très dur à faire pour un gaz mais assez simple dans le cas par exemple du modèle d'Einstein d'un solide dont l'entropie tend bien vers zero quand la température tend vers zero.

Pour la question sur les unités, je suis d'accord avec la réponse d'amanuensis.

[Amanuensis]

Si tu trouves que ce n'est pas assez opérationnel à ton gout

Non, ce n'est pas opérationnel. Par opérationnel, j'entends qui peut être utilisé par un ingénieur pour optimiser ce qu'il a à optimiser. Cela s'oppose à philosopher sur des concepts.

L'entropie de Shannon interprétée comme une mesure de capacité de canal ou de contenu d'une source est parfaitement opérationnelle. Elle permet l'ingéniérie de canaux de transmission.

L'approche par les paris (l'article de Kelly, mais aussi dans des textes de bayésiens) apparaît une piste pour une notion opérationnelle de l'information message par message.

Des papiers comme celui que tu indiques ne m'apportent rien : l'aspect opérationnel des capacités est inclus, nécessairement ; mais à quoi sert le reste ? Du coup, définir H uniquement comme une capacité n'est pas une limitation, et a le mérite de s'en tenir à l'opérationnel.

Si tu veux, je préfère m'en tenir à une conceptualisation concrète et accepter le flou pour le reste, que d'"expliquer" des concepts flous par d'autres qui ne m'apparaissent pas moins flous. (Opposition qui d'ailleurs n'est pas spécifique au sujet, c'est comme quand on répond à "pourquoi les objets tombent" par "parce qu'ils sont soumis à l'attraction de la Terre"...)

[invite490b7332]

Qu'est-ce que la température alors ? Une dérivée de l'énergie interne par rapport à… l'entropie

La température est l'énergie cinétique moyenne de chaque particule (à la constante de Boltzmann près)

Si les notions d'entropie, qu'il s'agisse de S ou de H, sont similaires, alors S devrait se mesurer "sans unité" (à la base du logarithme utilisé près : bits, trits, nats, et j'en passe). La constante de Boltzmann devrait donc être adimensionnée, ce qui signifie que la température, finalement, ne serait que la mesure d'une énergie (ce qui semble logique, si la température relève l'agitation thermique, donc l'énergie cinétique). Mais comme il n'est pas dans mes habitudes de prendre les physiciens pour des idiots, je me dis qu'ils ont une bonne raison de faire autrement.

Bonne remarque!
L'entropie de Boltzmann ne fait pas naturellement apparaitre la constante de Boltzmann. Elle est simplement ajoutée après coup pour avoir une égalité entre l'entropie de Boltzmann et l'entropie de Clausius.

[invite9ac7aecb]

Merci à tous pour vos réponses !

Je vais essayer de résumer tout ça :

1re question : Entropie de Shannon = espérance ?

je pense l'auteur du fil a compris l'essentiel

Oui ! Merci beaucoup à vous deux

2e question : Entropie thermodynamique en physique statistique : nombre de microétats ?

Message #13

Message #19

Merci à Amanensis d'avoir mentionné l'équation de Sackur-Tetrode, et merci à gatsu de l'avoir expliquée (parce que j'admets que j'avais pas tout compris ).

La curiosité me pousse à demander comment on fait pour "définir une entropie associée à un ensemble infini et indénombrable de points" dans le cadre de "la théorie de la mesure et son application aux probabilités pour des variables aléatoires continues", mais j'ai peur de ne pas comprendre la réponse : j'ai fait un peu de proba cette année mais ça reste niveau école d'ingés… d'ailleurs :

[HS] Quelles sont vos formations respectives ? Vous avez l'air d'être calés [/HS]

3e question : Entropie et température thermodynamiques = problème de l'œuf et de la poule ?

Message 14

Pour la question sur les unités, je suis d'accord avec la réponse d'amanuensis.

=> j'y reviens dans un autre post plus tard

[invite9ac7aecb]

=> j'y reviens dans un autre post plus tard

kb est juste une constante de dimensionnement. Le kelvin est défini arbitrairement, ce qui donne une unité arbitraire de l'entropie. La constante de Boltzmann fait la relation entre l'unité arbitraire et la donnée sans dimension qu'est un log. On peut aussi la voir comme le choix d'une base assez bizarre pour le logarithme, précisément la base qui permet d'atterrir sur la valeur d'une température en kelvin.

Ok

La température est un rapport entre les variations de deux grandeurs extensives, elle est donc intensive et ne peut pas être confondue avec l'énergie.

Très juste ! Mea culpa.

Peut-être que ce que je voulais dire, c'était que, dans l'idée, c'est la même dimension, une température et une énergie. Ce qui est peut-être tout aussi faux, je ne dis pas le contraire. Mais je pensais à quelque chose comme la distinction entre la puissance consommée en watts et la puissance apparente en voltampères : les deux sont homogènes, pourtant, étant fondamentalement différentes, on ne met pas les mêmes unités.

Et comme l'entropie est extensive, c'est un peu gênant de la voir sans dimension.

Pas faux !

kb est dimensionné, parce que son rôle est bien de "donner une dimension". Cette constante est une conséquence du choix d'exprimer les températures dans une unité spécifique à la température, et choisie arbitrairement.

Donc on aurait pu donner aux températures une unité qui ne leur serait pas spécifique (et vous voyez où je veux en venir : aux joules), même si ça aurait prêté à confusion ? ça rejoint un peu la partie précédente.

Par ailleurs, dire qu'un log est sans dimension se discute, mais de toutes manières il a une unité, liée au choix de la base du logarithme, choix qui est arbitraire.

Re-mea culpa, les deux notions de dimension et d'unité étaient confondues dans mon esprit

Même si après, je ne vois pas comment un log pourrait être dimensionné…

[invite6754323456711]

je ne vois pas comment un log pourrait être dimensionné…

L'unité dépend de la base choisie pour le logarithme

log₂ : Shannon, bit (unité binaire)
log_e : logon, nat (unité naturelle)
log₁₀ : Hartley, decit (unité décimale)

Patrick

[invite9ac7aecb]

Justement, c'est une unité, pas une dimension

Si vous préférez, le mètre et le miles sont deux unités qui ont la dimension d'une longueur. Il n'y a qu'un coefficient multiplicatif qui change.

Idem entre le bit et le nat.

Pour autant, je vois mal comment le bit pourrait être dimensionné… à part dire "la dimension d'une information" ? mais ce serait très vague…

[coussin]

Oui, un log comme n'importe quelle fonction mathématique ne peut pas être dimensionnée. Trivial à voir avec les développements limités
Tout le monde ici ne partage pas ce point de vue néanmoins…

[invite6754323456711]

Pour autant, je vois mal comment le bit pourrait être dimensionné… à part dire "la dimension d'une information" ? mais ce serait très vague…

Je le perçois plutôt comme une mesure d'une quantité d'information (binary unit) issu de la théorie de l'information (- log_b p) à distinguer du bit informatique (binary digit).

Par exemple dans le cas d'une source binaire {0; 1} telle que P(0) = P(1) = 0:5, la quantité d'information propre associée à chaque symbole binaire, ou bit au sens informatique vaut 1 bit ou Shannon.

Patrick

[invite93279690]

Oui, un log comme n'importe quelle fonction mathématique ne peut pas être dimensionnée. Trivial à voir avec les développements limités
Tout le monde ici ne partage pas ce point de vue néanmoins…

L'argument d'un log ne peut pas être dimensionné mais un log a priori on lui donne l'unité qu'on veut non (j'entends par là en multipliant par une constante par exemple) ?

[coussin]

L'argument d'un log ne peut pas être dimensionné mais un log a priori on lui donne l'unité qu'on veut non (j'entends par là en multipliant par une constante par exemple) ?

Tant que cette unité est sans dimension, bien sûr. Tu peux exprimer les logs en radian si tu veux

[invite93279690]

La curiosité me pousse à demander comment on fait pour "définir une entropie associée à un ensemble infini et indénombrable de points" dans le cadre de "la théorie de la mesure et son application aux probabilités pour des variables aléatoires continues", mais j'ai peur de ne pas comprendre la réponse : j'ai fait un peu de proba cette année mais ça reste niveau école d'ingés…

En fait le problème d'évaluer le cardinal d'un ensemble infini et indénombrable se pose déjà lorsqu'on veut définir une probabilité pour une variable aléatoire continue. En effet, habituellement (sans utiliser le jargon mathématique associé) pour une variable aléatoire discrète appartenant à un ensemble fini dont le cardinal est on a que la probabilité - supposée uniforme ici pour simplifier- pour que la v.a. vaille la valeur ( étant un élément de l'ensemble) est simplement :



Dans le cas d'une variable aléatoire continue le cardinal de l'ensemble correspondant est celui des réels et est clairement infini. L'idée est donc de définir une mesure qui "compte" quelque chose dans ce type d'espace continu. La solution est trivialement l'intégrale sur tout l'ensemble probabilisé associé à . En pratique, on définit la probabilité pour la v.a. d'appartenir à un intervalle comme étant :



La loi de probabilité de la variable est ainsi caractérisée par une densité de probabilité.

L'entropie associée à une v.a. continue s'écrit :



Dans le cas où la loi de probabilité est uniforme, la densité est simplement où I est le "volume" de l'ensemble auquel appartient .

Au final, dans le cas d'une v.a. continue la formule de Boltzmann pour l'entropie sera simplement



Le cardinal de "l'ensemble des possibles" a simplement été remplacé par le "volume de l'ensemble des possibles".

Faire tout ça rigoureusement en math s'appelle la théorie de la mesure.

d'ailleurs :

[HS] Quelles sont vos formations respectives ? Vous avez l'air d'être calés [/HS]

L'université comme beaucoup de monde .