entropie et information
Discussion fermée
Page 1 sur 2 1 DernièreDernière
Affichage des résultats 1 à 30 sur 35

entropie et information



  1. #1
    Christian Arnaud

    entropie et information


    ------

    Amis physiciens , bonjour

    On sait que la grandeur appelée entropie et exprimant la désorganisation d'un système s'exprime sous la forme
    S= k log N avec N le nombre de sous-ensembles et k la constante de Boltzmann

    Mais , par ailleurs , en informatique , la notion d'information ( en bits ) se définit par la formule très voisine :
    I = log N ou N est le nombre de cas possibles.

    Or S exprime le désordre et ne peut que croître , alors que I exprime l'ordre et l'organisation.

    Cette contradiction apparente a-t-elle une explication ou ai-je loupé quelquechose ?

    Merci pour vos réponses

    -----
    "De la discussion jaillit la lumière" .... parfois ....

  2. #2
    ornithology

    Re : entropie et information

    il y a aussi la neg entropie.

  3. #3
    GBo

    Re : entropie et information

    Citation Envoyé par Christian Arnaud Voir le message
    Amis physiciens , bonjour

    On sait que la grandeur appelée entropie et exprimant la désorganisation d'un système s'exprime sous la forme
    S= k log N avec N le nombre de sous-ensembles et k la constante de Boltzmann

    Mais , par ailleurs , en informatique , la notion d'information ( en bits ) se définit par la formule très voisine :
    I = log N ou N est le nombre de cas possibles.

    Or S exprime le désordre et ne peut que croître , alors que I exprime l'ordre et l'organisation.

    Cette contradiction apparente a-t-elle une explication ou ai-je loupé quelquechose ?

    Merci pour vos réponses
    Bonsoir,
    I, dans la théorie mathématique des communications, n'exprime pas "l'ordre et l'organisation", il exprime une quantité d'information.
    Autrement dit, I est le nombre minimal de questions qu'il faut poser pour savoir ce que la source a émis (j'omets quelques détails que tu trouveras dans le lien suivant):
    https://fr.wikipedia.org/wiki/Entrop..._de_la_formule
    cdlt,
    GBo
    Dernière modification par GBo ; 21/10/2020 à 18h58.
    Le mélange de vrai et de faux est énormément plus toxique que le faux pur - Paul Valéry

  4. #4
    pm42

    Re : entropie et information

    Citation Envoyé par Christian Arnaud Voir le message
    On sait que la grandeur appelée entropie et exprimant la désorganisation d'un système s'exprime sous la forme
    Je me demande si tu ne devrais pas lire : https://forums.futura-sciences.com/d...ml#post6651819
    Cela pourrait être pertinent

  5. A voir en vidéo sur Futura
  6. #5
    jacknicklaus

    Re : entropie et information

    Citation Envoyé par Christian Arnaud Voir le message

    On sait que la grandeur appelée entropie et exprimant la désorganisation d'un système ...
    Et de même, l'entropie ne représente pas le désordre. Rappelons la très belle expérience du shaker adiabatique rempli d'un mélange d'eau et d'huile, dont on a parlé tout récemment ( je ne retrouve pas le post hélas).


    [EDIT]

    A ben voilà, merci pm42, tu as retrouvé ce post. (le #5)
    Dernière modification par jacknicklaus ; 21/10/2020 à 19h29.
    There are more things in heaven and earth, Horatio, Than are dreamt of in your philosophy.

  7. #6
    ornithology

    Re : entropie et information

    quelqu'un s'est il déja demandé ou se trouve l'information? je m'explique.
    on peut lire que quand Bon et Alice partagent une paire de photons de Bell toute l'information se trouve dans les correlations pas sur chaque photon isolé. pour visualiser ca je pense a un diagramme comme ca
    O<------->O
    une boucle pour chaque photon une ligne en pointillé pour les corrélations. il faut 2 bits pour la description. je mets donc
    0 2 0
    sous le diagramme
    si les photons ne sont pas corrélés je mets
    1 0 1
    dessous
    il doit y avoir des cas intermédiaires
    q1 q2 q3 de somme = 2

    si on a 3 particule on peut tracer un triangle équilatéral avec des boucles a chaque sommet et
    faire de meme. donner 6 valeurs (3 boucles, trois cotés) de somme egale a 3 bits.
    avez vous déja vu ce genre de choses sur le net?
    Dernière modification par ornithology ; 22/10/2020 à 09h40.
    Ou sont les particules? On est la! On est la! (deux fentes de Young)

  8. #7
    GBo

    Re : entropie et information

    Citation Envoyé par ornithology Voir le message
    quelqu'un s'est il déja demandé ou se trouve l'information? je m'explique.
    on peut lire que quand Bon et Alice partagent une paire de photons de Bell toute l'information se trouve dans les correlations pas sur chaque photon isolé. pour visualiser ca je pense a un
    [...]
    Justement, on ne parle pas d'information dans ce cas là.
    Le mélange de vrai et de faux est énormément plus toxique que le faux pur - Paul Valéry

  9. #8
    ornithology

    Re : entropie et information

    Bein si !

  10. #9
    GBo

    Re : entropie et information

    Non, je pense qu'on serait au courant pour le télégraphe supra luminal
    Le mélange de vrai et de faux est énormément plus toxique que le faux pur - Paul Valéry

  11. #10
    Deedee81
    Modérateur

    Re : entropie et information

    Salut,

    Pas trop le temps de creuser (je suis en réunion). donc petite information (sans jeu de mots ) :

    Attention à "information". C'est polysémique.

    Il y a l'information stockée.
    Il y a l'information échangée.
    Il y a l'information épistémique (information déduire de la connaissance du système, de ses lois). Cette dernière ne doit pas être négligée en MQ avec l'intrication.

    Et avec la représentation ci-dessus, bon, c'est pas très clair, mais gaffe aux inégalités de Bell.
    "Il ne suffit pas d'être persécuté pour être Galilée, encore faut-il avoir raison." (Gould)

  12. #11
    ornithology

    Re : entropie et information

    pour pas tomber en contradiction avec les inégalités de bell dans la représentaion graphique proposée il suffit de s'en tenir a la MQ et a ses outils.
    quand on a 2 particules voir comment il est représenté par un vecteur de H1 tenseur H2
    pout 3 on rajoute un troisieme espace H3
    en plus on peut utiliser les matrices densités par groupe de deux particules.
    ca a sans doute déja été fait.
    Dernière modification par ornithology ; 22/10/2020 à 13h30.
    Ou sont les particules? On est la! On est la! (deux fentes de Young)

  13. #12
    Deedee81
    Modérateur

    Re : entropie et information

    Citation Envoyé par ornithology Voir le message
    ca a sans doute déja été fait.
    J'en sais rien. Je ne trouve pas ça très clair d'ailleurs (pour ça j'aime autant voir les états ou les états réduits sur le dessins, moi c'est comme ça que je fais. Les états ou les matrices mais c'est un peu plus lourd à noter).
    "Il ne suffit pas d'être persécuté pour être Galilée, encore faut-il avoir raison." (Gould)

  14. #13
    GBo

    Re : entropie et information

    Bonjour Deedee, dans le contexte de cette discussion, quand on parle d'information, il s'agit de l'information au sens de la "théorie de l'information" de Shannon (dont le vrai nom est d'ailleurs "A Mathematical Theory of Communication"), le premier post initié par Christian Arnaud ne laisse la place à aucune ambiguïté là-dessus.
    Le mélange de vrai et de faux est énormément plus toxique que le faux pur - Paul Valéry

  15. #14
    Deedee81
    Modérateur

    Re : entropie et information

    Citation Envoyé par GBo Voir le message
    Bonjour Deedee, dans le contexte de cette discussion, quand on parle d'information, il s'agit de l'information au sens de la "théorie de l'information" de Shannon (dont le vrai nom est d'ailleurs "A Mathematical Theory of Communication"), le premier post initié par Christian Arnaud ne laisse la place à aucune ambiguïté là-dessus.
    Ca j'avais compris. Mais ce n'est pas suffisant
    (sinon j'aurais mis une liste bien plus longue)
    "Il ne suffit pas d'être persécuté pour être Galilée, encore faut-il avoir raison." (Gould)

  16. #15
    Christian Arnaud

    Re : entropie et information

    Citation Envoyé par ornithology Voir le message
    il y a aussi la neg entropie.
    Oui, je crois que c'est l'élément qui me manquait : dans wiki "D'origine thermodynamique, la néguentropie est donc utilisée en systémique comme synonyme de la force de cohésion. Norbert Wiener la décrit ici socialement comme une traduction physique de l'information. " , merci
    "De la discussion jaillit la lumière" .... parfois ....

  17. #16
    Deedee81
    Modérateur

    Re : entropie et information

    Citation Envoyé par Christian Arnaud Voir le message
    Oui, je crois que c'est l'élément qui me manquait : dans wiki "D'origine thermodynamique, la néguentropie est donc utilisée en systémique comme synonyme de la force de cohésion. Norbert Wiener la décrit ici socialement comme une traduction physique de l'information. " , merci
    Je ne comprend pas l'usage du mot "socialement" ici (enfin, le reste j'ai pas tout compris non plus, mais ce mot là est encore plus intriguant)
    "Il ne suffit pas d'être persécuté pour être Galilée, encore faut-il avoir raison." (Gould)

  18. #17
    ornithology

    Re : entropie et information

    @Deedee81
    Tu as écrit (a propos tu fais comment pour faire les citations?)

    Je ne trouve pas ça très clair d'ailleurs (pour ça j'aime autant voir les états ou les états réduits sur le dessins, moi c'est comme ça que je fais. Les états ou les matrices mais c'est un peu plus lourd à noter).

    Excuse moi mais ta phrase elle veut dire quoi? tu aimes les dessins ou pas?
    Ou sont les particules? On est la! On est la! (deux fentes de Young)

  19. #18
    Deedee81
    Modérateur

    Re : entropie et information

    Citation Envoyé par ornithology Voir le message
    Tu as écrit (a propos tu fais comment pour faire les citations?)
    Je clique sur "répondre avec citation".

    Citation Envoyé par ornithology Voir le message
    Excuse moi mais ta phrase elle veut dire quoi? tu aimes les dessins ou pas?
    Les dessins ne me dérangent pas . C'est juste la représentation que tu proposes que je ne trouve pas très claire (et j'ai dit que j'aimais autant noter les états ou les états réduits, sous Bob et Alice.... je trouve ça plus sûr (et pas plus compliqué).

    C'est même ce que j'utilise dans le tome VII de Mécanique quantique pour exactement la même situation (EPR). Ou dans ma vidéo correspondante.
    "Il ne suffit pas d'être persécuté pour être Galilée, encore faut-il avoir raison." (Gould)

  20. #19
    ornithology

    Re : entropie et information

    je me doutais bien que cette histoire de diagramme pour 2 ou 3 paricules avait été traitée depuis
    longtemps. la vulgarisation a encore de boulot a faire. (clin d'oeil)
    https://en.wikipedia.org/wiki/Information_diagram

  21. #20
    Deedee81
    Modérateur

    Re : entropie et information

    Citation Envoyé par ornithology Voir le message
    je me doutais bien que cette histoire de diagramme pour 2 ou 3 paricules avait été traitée depuis
    longtemps. la vulgarisation a encore de boulot a faire. (clin d'oeil)
    https://en.wikipedia.org/wiki/Information_diagram
    Je suis pas sûr que tu me répondes là. C'est connu ce genre de diagramme. Mais je ne vois pas trop le rapport avec EPR.
    (EDIT ou plutôt faire le lien demande quand même un peu de travail, et prudent le travail : la MQ c'est toujours très contre-intuitif et la logique formelle de base c'est la logique quantique justement, pas la logique orthodoxe)
    Dernière modification par Deedee81 ; 22/10/2020 à 15h00.
    "Il ne suffit pas d'être persécuté pour être Galilée, encore faut-il avoir raison." (Gould)

  22. #21
    GBo

    Re : entropie et information

    Citation Envoyé par Deedee81 Voir le message
    Ca j'avais compris. Mais ce n'est pas suffisant
    (sinon j'aurais mis une liste bien plus longue)
    Ce que je veux dire : les corrélations de mesure de l'expérience d'A. Aspect bien connue (1982) et les suivantes, ne peuvent pas servir à envoyer par exemple un ordre de bourse voulu ("vendez tout") à un destinataire instantanément. Pas possible. C'est l'exemple qu'il donne dans ses conférences, il rajoute qu'on ne peut pas se servir de l'intrication quantique comme d'un télégraphe (hélas pour l'industrie des télécomms). Je peux retrouver les sources si tu veux.
    Dernière modification par GBo ; 22/10/2020 à 15h34.
    Le mélange de vrai et de faux est énormément plus toxique que le faux pur - Paul Valéry

  23. #22
    GBo

    Re : entropie et information

    Voilà c'est là, à partir de 1:09:32, en réponse à une question du public:
    https://www.canal-u.tv/video/univers...quantique.1066
    Les questions précédentes valent aussi le détour
    Le mélange de vrai et de faux est énormément plus toxique que le faux pur - Paul Valéry

  24. #23
    ornithology

    Re : entropie et information

    Personne ici n a parlé de transmission de l'information encore moins de supraouminicité. si apres coup on compare les résultats et que 9 fois sur 10 alice et bob ont eu des memes et qu il y avait une stratégie pour chacun de ne pas parier completement au hasard alors en melangeant la liste des résultat s on peut attribuer une "cote" a pile pour bob face pour alice etc et meme
    parier sur différents a 10 contre 1. c est l l idée de "ou est l'information'
    Ou sont les particules? On est la! On est la! (deux fentes de Young)

  25. #24
    Deedee81
    Modérateur

    Re : entropie et information

    Salut,

    Citation Envoyé par GBo Voir le message
    Ce que je veux dire : les corrélations de mesure de l'expérience d'A. Aspect bien connue (1982) et les suivantes, ne peuvent pas servir à envoyer par exemple un ordre de bourse voulu ("vendez tout") à un destinataire instantanément. Pas possible. C'est l'exemple qu'il donne dans ses conférences, il rajoute qu'on ne peut pas se servir de l'intrication quantique comme d'un télégraphe (hélas pour l'industrie des télécomms). Je peux retrouver les sources si tu veux.
    Merci pour la ref, mais là on est d'accord de toute façon (sympa l'exemple de Aspect ). On ne s'était pas compris tout simplement. Mettons nous d'accord sur un désaccord comme dirait Boris l'animal

    Je signalais juste de bien faire attention à la signification du mot "information" qui peut avoir plusieurs sens (même quand on se limite à l'information au sens de Shannon, ce qui est toujours le cas d'ailleurs en mécanique quantique). Et ça a une importance sur la notion de "où est stockée l'information"

    Un exemple d'usage de l'information épistémique est dans cet article :
    https://arxiv.org/abs/quant-ph/0604064
    L'analyse EPR par Rovelli en mécanique quantique relationnelle

    Un exemple intéressant de stockage qui rejoint ce qui est discuté ici est la transmission d'information par cryptographie quantique.
    On échange des particules intriquées A et B.
    en A on fait de mesures (d'une manière qui dépend d'une information I) et on communique les résultats de l'autre coté par un canal classique.
    En B on fait des mesures et on en déduit I.

    Par où passe l'information physique, où est-elle stockée ?

    La question est cruciale car :
    - l'information passant par le canal classique est indispensable mais insuffisante pour retrouver I en B.
    - l'analyse par une interprétation de type Copenhague parle de réduction "instantané à distance" des états. Ce qui marche mais est trompeur (vu que le théorème de non communication montre justement qu'aucune information ne peut passer). Tiens on ne l'a pas encore donné ça ? C'est important vu le sujet :
    https://en.wikipedia.org/wiki/No-communication_theorem

    Cette situation conduit souvent à des propos très abusifs dans les articles vulgarisés, même rédigés par des physiciens qualifiés (difficile est l'art de la..... communication ). Comme "l'état a changé instantanément mais B ne peut le savoir qu'après comparaison entre la mesure et l'information venue par le canal classique" et qui me fait chaque fois bondir jusqu'au plafond

    En fait on l'oublie souvent mais il y a l'échange des particules intriquées au départ. On l'oublie car l'information I n'intervient qu'après !!!

    Donc l'information transférée est stockée (pendant son transfert) :
    - Dans les signal du canal classique
    - Dans la particule envoyée en A (et B) et son état quantique très particulier
    - Une information communiquée forcément au préalable pour expliquer "vous allez recevoir une particule intriquée, le protocole est le suivant...", information aussi stockée dans un signal classique. Elle est considérée comme implicite dans le raisonnement car on ne parle pas du dispositif physique l'ayant permit mais elle existe et devient donc une information épistémique (une connaissance déduite d'informations physiques, explicites ou ici implicites) utilisée dans le protocole.

    Le reste n'est que décodage de l'information par des moyens astucieux. Information mélangée entre I et l'information physique transférée.

    Je trouve cet exemple particulièrement intéressant pour comprendre le concept d'information en mécanique quantique. Beaucoup plus que EPR tout cru tout nu. Il est bon de le décortiquer en utilisant les états quantiques et tout et tout. C'est pas difficile et est incroyablement instructif.
    Dernière modification par Deedee81 ; 23/10/2020 à 06h56.
    "Il ne suffit pas d'être persécuté pour être Galilée, encore faut-il avoir raison." (Gould)

  26. #25
    Christian Arnaud

    Re : entropie et information

    Citation Envoyé par Deedee81 Voir le message
    Je ne comprend pas l'usage du mot "socialement" ici (enfin, le reste j'ai pas tout compris non plus, mais ce mot là est encore plus intriguant)
    Moi non plus mais j'ai simplement mis la phrase de wiki , surtout à cause de "traduction physique de l'information" puisque c'était mon point de départ
    "De la discussion jaillit la lumière" .... parfois ....

  27. #26
    Deedee81
    Modérateur

    Re : entropie et information

    Citation Envoyé par Christian Arnaud Voir le message
    Moi non plus mais j'ai simplement mis la phrase de wiki , surtout à cause de "traduction physique de l'information" puisque c'était mon point de départ
    D'accord. Je viens d'aller voir wikipedia. L'article est un peu bizarre. Je trouve qu'il y a quelques "soupes". Ca mériterait une réécriture
    "Il ne suffit pas d'être persécuté pour être Galilée, encore faut-il avoir raison." (Gould)

  28. #27
    GBo

    Re : entropie et information

    Citation Envoyé par Deedee81 Voir le message
    Salut,
    [...]
    Je trouve cet exemple particulièrement intéressant pour comprendre le concept d'information en mécanique quantique. Beaucoup plus que EPR tout cru tout nu. Il est bon de le décortiquer en utilisant les états quantiques et tout et tout. C'est pas difficile et est incroyablement instructif.
    Soit, mais la question de "où est stockée l'information" me semble un faux problème, pour en être sûr il manque le lien vers la description de l'expérience exacte à laquelle tu fais allusion (je connais celle de Bennett et Brassard (1984) mais elle n'a pas besoin de faire appel à l'intrication pour faire de la crypto quantique), car il y en a plusieurs et on va encore avoir des quiproquos sur des désaccords qui n'en sont pas
    Merci d'avance.
    GBo
    Le mélange de vrai et de faux est énormément plus toxique que le faux pur - Paul Valéry

  29. #28
    Deedee81
    Modérateur

    Re : entropie et information

    Citation Envoyé par GBo Voir le message
    Soit, mais la question de "où est stockée l'information" me semble un faux problème
    Pourquoi ?

    Citation Envoyé par GBo Voir le message
    pour en être sûr il manque le lien vers la description de l'expérience exacte à laquelle tu fais allusion
    Typiquement les expériences avec ce type de protocole.
    https://fr.wikipedia.org/wiki/Crypto...phie_quantique
    "Il ne suffit pas d'être persécuté pour être Galilée, encore faut-il avoir raison." (Gould)

  30. #29
    GBo

    Re : entropie et information

    Il n'y a pas nécessité de "particules intriquées A et B" dans le résumé de wikipédia, c'est pour ça que je te demandais un papier décrivant une expérience précise (au format scientifique). On va donc partir sur celle que je mentionnais, le protocole BB84, décrit ici par Grangier :
    https://www.canal-u.tv/video/univers..._grangier.1434
    (vers 40:40)
    Dernière modification par GBo ; 23/10/2020 à 11h42.
    Le mélange de vrai et de faux est énormément plus toxique que le faux pur - Paul Valéry

  31. #30
    GBo

    Re : entropie et information

    Quel était le problème déjà ?
    Le mélange de vrai et de faux est énormément plus toxique que le faux pur - Paul Valéry

Page 1 sur 2 1 DernièreDernière

Discussions similaires

  1. Entropie et information
    Par legyptien dans le forum Physique
    Réponses: 0
    Dernier message: 19/09/2015, 22h23
  2. Réponses: 5
    Dernier message: 26/03/2015, 16h51
  3. Vie, entropie et information
    Par tic-tic dans le forum Biologie
    Réponses: 1
    Dernier message: 12/03/2015, 18h14
  4. Entropie de l'Information et Observation en Physique
    Par invitedc9b3028 dans le forum Physique
    Réponses: 5
    Dernier message: 29/03/2010, 14h01
  5. capacité information et entropie
    Par invitea86d6f62 dans le forum Physique
    Réponses: 2
    Dernier message: 15/03/2009, 12h04