Un ordi chauffe-t’il moins s’il crée de l’ordre?

[fred3000gt]

Bonjour,

Alors voici la question un peu (beaucoup) délire:
- supposons un algo A qui trie par ordre croissant 1000 nombres
- supposons un algo B qui séquence aléatoirement ces chiffres

Sachant que dS=dQ/T, est-ce qu’un ordinateur chauffe moins quand il tourne A que B?

On peut supposer que A et B sont concus pour fonctionner avec exactement les mêmes instructions, mais dans un ordre différent. Voire même exactement les mêmes instructions, dans le même ordre, mais que dépendant de la valeur des nombres, le résultat soit un tri ou un shuffling.

Ca revient à se demander si l’entropie des données a le même sens que l’entropie en physique, mais comme des gens respectés comme Hawkins ont travaillé sur l’information et les trous noirs, je me suis laché…

Merci!
-----

[alphanet]

Ce qui est vrai c'est qu'un ordinateur chauffe moins si le disque dur, pour autant que ce ne soit pas un ssd, est peu fragmenté.

Pour en revenir à la question elle interroge la notion d'ordre qui n'a pas de sens, ou du moins elle n'intervient que pour l'utilisateur qui donne un ordre au chiffres, pas au niveau physique.

[fred3000gt]

Pour en revenir à la question elle interroge la notion d'ordre qui n'a pas de sens, ou du moins elle n'intervient que pour l'utilisateur qui donne un ordre au chiffres, pas au niveau physique.

Je ne suis pas d’accord, la notion d’ordre ou d’entropie a un sens pour les données, je l’utilise moi-même fréquemment.
https://fr.wikipedia.org/wiki/Entropie_de_Shannon

[ArchoZaure]

J'ai du mal à voir avant toute considération thermodynamique comment un nombre codé sous la forme de bytes et donc de bits (le bit c'est ce qu'il y a de physique) peut être classé comme on classe l'ordinalité.

Ordinal : "Se dit en général d'un nombre lorsqu'il ne sert qu'à indiquer une position ou un rang, dans une série."
https://fr.wiktionary.org/wiki/ordinal

Un gros nombre peut avoir un bit à 1 dans les dernières positions et plein de 1 dans les premières positions.
Vous classez ça comment ?

[A voir en vidéo sur Futura]

[Cobalt89]

Tu fais une erreur en considérant que classer des nombres et les mélanger fait appel au même type et à la même quantité de ressources informatiques. J'ai une compréhension très limitée de l'entropie en physique, mais l'action que tu appelles "shuffle" découle de processus algorithmiques en informatique (ou alors s'appuie sur des phénomènes extérieurs) pour produire ces nombres aléatoires (https://code-garage.fr/blog/pourquoi...n-informatique). Et sans certitude je suppose que la génération d'aléatoire consomme plus de ressources que le classement par un algorithme simple.

[fred3000gt]

J'ai du mal à voir avant toute considération thermodynamique comment un nombre codé sous la forme de bytes et donc de bits (le bit c'est ce qu'il y a de physique) peut être classé comme on classe l'ordinalité.

Ordinal : "Se dit en général d'un nombre lorsqu'il ne sert qu'à indiquer une position ou un rang, dans une série."
https://fr.wiktionary.org/wiki/ordinal

Un gros nombre peut avoir un bit à 1 dans les dernières positions et plein de 1 dans les premières positions.
Vous classez ça comment ?

Le classement séquentiel était juste un exemple. Tu peux mesurer l'entropie d'un ensemble de données par le nombre de symbole qu'il est nécessaire d'utiliser et la probabilité d'utiliser chacun de ces symboles.
Par exemple, 1000x le même nombre, un seul symbole, entropie minimum.
Considère une suite de 1000 nombres différents croissants par 1, tu peux coder ces 1000 nombres avec 2 symboles, le chiffre initial (0) et la différence entre 2 symboles (1), très faible entropie.
Maintenant quand des nombres sont ordonnés (selon le système décimal pour répondre à ta question), la différence entre 2 nombres consécutifs correspond à des valeurs plus faibles que non ordonnés, donc moins de symboles nécessaires au codage si plusieurs différences identiques sont trouvées entre les 1000 nombres, donc moins d'entropie selon Shannon.
C'est d'ailleurs exactement ce qui utilisé dans de nombreux algo de compression de données, et des données bien comprimables ont moins d'entropie que des données comprimables.

Tu fais une erreur en considérant que classer des nombres et les mélanger fait appel au même type et à la même quantité de ressources informatiques. J'ai une compréhension très limitée de l'entropie en physique, mais l'action que tu appelles "shuffle" découle de processus algorithmiques en informatique (ou alors s'appuie sur des phénomènes extérieurs) pour produire ces nombres aléatoires (https://code-garage.fr/blog/pourquoi...n-informatique). Et sans certitude je suppose que la génération d'aléatoire consomme plus de ressources que le classement par un algorithme simple.

Non, je pense qu'il est parfaitement possible de concevoir un algorithme de mélange qui correspond exactement au même nombre d'opérations qu'un algorithme d'ordonnancement.

[ArchoZaure]

Considère une suite de 1000 nombres différents croissants par 1, tu peux coder ces 1000 nombres avec 2 symboles, le chiffre initial (0) et la différence entre 2 symboles (1), très faible entropie.

Mais non pourquoi ?
Si vous regardez comment sont codés les nombres (on va rester aux bytes sinon on a les little indian et compagnie et on n'en fini plus pour savoir comment on code un nombre) alors vous voyez bien que physiquement le nombre est codé par des bits.
L’arrangement de ces bits n'a rien à voir avec un ordre croissant lorsque les nombres augmentent.
D'autre part vous nous parlez d'une suite de 1000 nombres mais rien ne dit que ces nombres se succèdent, ni sur le disque ni dans la mémoire.
C'est pas parce que les nombres sont "triés" qu'ils se trouvent à la queue leu leu sur le support.

Donc votre idée est peut-être valable mais pour en parler je pense que vous devriez reformuler en précisant les choses au niveau des bits et en précisant le support et comment les bits sont organisés sur le support.

Est-ce qu'une mémoire pleine de 1 et de 0 posés aléatoirement est équivalente au niveau entropique qu'une mémoire pleine de 0 ou pleine de 1 uniquement ?
Là c'est plus cohérent.

[sunyata]

La question est basée sur l'hypothèse que dS=dQ/T, c'est-à-dire la variation de l'entropie (dS) est égale à la variation de la chaleur (dQ) divisée par la température (T). Cependant, cette hypothèse ne s'applique pas directement à l'analyse de la chaleur générée par un ordinateur en cours d'exécution d'un algorithme.
Il est possible que l'algorithme A utilise moins de ressources système (par exemple, moins de calculs) que l'algorithme B, ce qui pourrait entraîner une baisse de la chaleur générée par l'ordinateur. Cependant, cela dépendra également de la complexité des algorithmes et de l'implémentation spécifique utilisée. Il est donc difficile de dire avec certitude si l'ordinateur chauffera moins lors de l'exécution de l'algorithme A plutôt que de l'algorithme B. Il serait nécessaire de tester les deux algorithmes pour obtenir des données précises sur la chaleur générée.

Cordialement

[fred3000gt]

Mais non pourquoi ?
Si vous regardez comment sont codés les nombres (on va rester aux bytes sinon on a les little indian et compagnie et on n'en fini plus pour savoir comment on code un nombre) alors vous voyez bien que physiquement le nombre est codé par des bits.
L’arrangement de ces bits n'a rien à voir avec un ordre croissant lorsque les nombres augmentent.
D'autre part vous nous parlez d'une suite de 1000 nombres mais rien ne dit que ces nombres se succèdent, ni sur le disque ni dans la mémoire.
C'est pas parce que les nombres sont "triés" qu'ils se trouvent à la queue leu leu sur le support.

Donc votre idée est peut-être valable mais pour en parler je pense que vous devriez reformuler en précisant les choses au niveau des bits et en précisant le support et comment les bits sont organisés sur le support.

Est-ce qu'une mémoire pleine de 1 et de 0 posés aléatoirement est équivalente au niveau entropique qu'une mémoire pleine de 0 ou pleine de 1 uniquement ?
Là c'est plus cohérent.

Mouiii. Bon il n'y pas de doute qu'un mémoire pleine de 0 a moins d'entropie qu'une mémoire équiprobablement pleine de 0 et de 1 si j'en crois la formule de Shanon. Mais je peux en effet reformuler pour enlever la notion de séquence qui complique la chose ici.
Je peux dire:
Algo A: qui transforme 1000 bits aléatoire en 1000 bits égaux à 0.
Algo B: qui transforme 1000 bits égaux à 0 en 1000 bits aléatoire avec une probabilité de 0.5 pour chaque bit.

Bon, bah là, en supposant que A et B sont codés avec exactement le même nombre d'instructions, l'exécution de A chaufferait moins que B??

La question est basée sur l'hypothèse que dS=dQ/T, c'est-à-dire la variation de l'entropie (dS) est égale à la variation de la chaleur (dQ) divisée par la température (T). Cependant, cette hypothèse ne s'applique pas directement à l'analyse de la chaleur générée par un ordinateur en cours d'exécution d'un algorithme.
Il est possible que l'algorithme A utilise moins de ressources système (par exemple, moins de calculs) que l'algorithme B, ce qui pourrait entraîner une baisse de la chaleur générée par l'ordinateur. Cependant, cela dépendra également de la complexité des algorithmes et de l'implémentation spécifique utilisée. Il est donc difficile de dire avec certitude si l'ordinateur chauffera moins lors de l'exécution de l'algorithme A plutôt que de l'algorithme B. Il serait nécessaire de tester les deux algorithmes pour obtenir des données précises sur la chaleur générée.
Cordialement

D'abord, je ne pense pas sérieusement que la proposition "l'échauffement dépend de l'entropie" soit vrai, sinon ca se saurait.....j'arrive juste pas à prouver pourquoi c'est faux... Et je suis bien d'accord que ce principe de thermo ne semble pas s'appliquer à un ordinateur, la question est pourquoi?

En ce qui concerne la complexité des calculs, j'ai bien précisé que les 2 algos ont été concus pour exécuter le même nombre de calculs.

[pm42]

- supposons un algo A qui trie par ordre croissant 1000 nombres
- supposons un algo B qui séquence aléatoirement ces chiffres

Le séquençage aléatoire est en O(n) et le tri en O(n*log(n)). Ce qui donne la réponse à la question : le tri va nécessiter plus d'opérations donc d'énergie et donc générer plus de chaleur.

Mais ce n'est pas une règle absolue : il y a le concept de calcul réversible qui permettrait de calculer sans dépense d'énergie ou aussi petite que voulue.
Pour les irréversibles, on a une limite basse toutefois : https://fr.wikipedia.org/wiki/Principe_de_Landauer

[fred3000gt]

Le séquençage aléatoire est en O(n) et le tri en O(n*log(n)). Ce qui donne la réponse à la question : le tri va nécessiter plus d'opérations donc d'énergie et donc générer plus de chaleur.

Mais ce n'est pas une règle absolue : il y a le concept de calcul réversible qui permettrait de calculer sans dépense d'énergie ou aussi petite que voulue.
Pour les irréversibles, on a une limite basse toutefois : https://fr.wikipedia.org/wiki/Principe_de_Landauer

Il me semble que je peux parfaitement te produire un algo de shuffling aléatoire qui fonctionne on O(n*log(n)). Et puis cet argument ne fonctionne pas avec les 2 nouveaux algos A et B, où la diminution d’entropie consiste à mettre tous les nombres à 0….

Merci pour Landauer, je ne connaissais pas, ce sont des concepts nouveaux pour moi….

[MissJenny]

Le séquençage aléatoire est en O(n) et le tri en O(n*log(n)). Ce qui donne la réponse à la question : le tri va nécessiter plus d'opérations donc d'énergie et donc générer plus de chaleur.

asymptotiquement, mais pas forcément à distance finie.

[ArchoZaure]

Moi tout ce que je vais répéter ici c'est que l'entropie de Shannon et sa considération énergétique ne s'applique pas aux nombre informatiques ou aux nombres qu'on dessinerait sur un tableau noir.
Si on veut relier cette notion d'énergie avec l'entité considérée il faut que cette entité soit directement reliée à la matière.

Par exemple et je le répète, le bit physique est une bonne entité mais un nombre informatique non
Quand je dit non, c'est pas qu'un nombre informatique n'est pas relié à l'entropie de Shannon (il l'est puisque composé de bits...) mais que la valeur à prendre en compte pour évaluer les transitions entre différentes formes de l'entité doit s'appuyer sur les bits composant le nombre.
Un exemple : On veut "trier" (ordonner) le nombre 6 et le nombre 65 mémorisé sur un disque dur (je ne prend pas l'exemple de la mémoire qui a besoin de rafraichir ses bits à 1...).
Physiquement parlant ça revient à comparer puis intervertir des bits au niveau d'un support physique.
Donc voici la structure de ces nombres.
6 : 00000111
65 : 01000001

Quel nombre est le plus grand ?

Pour ce faire il faut commencer par faire appel à un algorithme qui détermine quel est le nombre le plus grand.
On peut utiliser une instruction machine mais alors on sort du cadre théorique, enfin il me semble (faut pas croire qu'il ne se passe rien dans un microprocesseur...c'est même tellement complexe pour les plus récents qu'on n'a aucune chance d'avoir une adéquation entre les calculs théoriques de la variation d'entropie et la valeur réelle).
Donc il faut faire appel à un algorithme qui manipule les bits.
Question : Quel est le cout énergétique pour comparer ces deux nombres ?
Ok, ceci fait quel est le cout énergétique pour comparer deux nombres quelconques.

Ensuite, pour ordonner ces deux nombres il faut modifier les bits qui nécessitent de l'être.
Par exemple si on veut ordonner de manière décroissante alors que les nombres 6 et 65 sont actuellement ordonnés dans le sens inverse il faut sur support du 6 :
Laisser le bit 8 à 0
Mettre le bit 7 à 1
Laisser le bit 6 à 0
laisser le bit 5 à 0
Laisser le bit 4 à 0
Mettre le bit 3 à 0
Mettre le bit 2 à 0
Laisser le bit 1 à 1

Soit 3 modifications.

On fait la même chose avec le nombre 65

Et donc on constate que la valeur de l'entropie de Shannon qui dépend du nombre d'effacements de bits dépend ici dans ce cas de figure de chaque couple de nombre (ici sur 8 bits).
D'où l’intérêt assez limité de la question (ou pas je sais pas) de s'intéresser aux nombres ... qui n'ont pas de signification physique claire.
65 n'est pas "plus grand" d'un point de vue physique que "6" et on voit bien que l'entropie de Shannon n'est pas proportionnelle à la "grandeur informationnelle" (la considération mathématique) de ces nombres.

En 1948, Claude Shannon publie sa théorie mathématique de la communication dans laquelle il introduit une mesure de la quantité d’information a transmettre dans un message. L’expression de cette mesure est identique (au signe près) à celle de l’entropie de Gibbs. On parle alors d’entropie informationelle ou entropie de Shannon.


En 1956, Léon Brillouin applique l’expression de Shannon à l’information apportée par le démon de Maxwell et montre qu’elle résoud le paradoxe. L’entropie thermodynamique de Gibbs apparait alors comme un cas particulier de l’entropie de Shannon appliquée à l’information sur un système thermodynamique. Appliquée aux êtres vivants, la néguentropie de Schrödinger représente l’information transmise par les gènes.


En 1961, les ingénieurs cherchent à réduire la chaleur dégagée par les ordinateurs et se posent la question de savoir s’il y a une limite théorique. Ralph Landauer montre qu’il y a une limite due aux opérations irréversibles. Effacer un bit d’information doit nécessairement provoquer un dégagement de chaleur équivalent à l’énergie d’un degré de liberté du système. C’est le principe de Landauer.
Effacer de l’information étant un cas particulier d’opération irréversible, l’entropie de Shannon devient un cas particulier d’entropie thermodynamique.


Entropie thermodynamique et entropie de Shannon étant chacune un cas particulier de l’autre, cela implique qu’il s’agit d’un seul et même concept.

https://dridk.me/shannon-entropy.html

[fred3000gt]

Moi tout ce que je vais répéter ici c'est que l'entropie de Shannon et sa considération énergétique ne s'applique pas aux nombre informatiques ou aux nombres qu'on dessinerait sur un tableau noir.
Si on veut relier cette notion d'énergie avec l'entité considérée il faut que cette entité soit directement reliée à la matière.

Par exemple et je le répète, le bit physique est une bonne entité mais un nombre informatique non
Quand je dit non, c'est pas qu'un nombre informatique n'est pas relié à l'entropie de Shannon (il l'est puisque composé de bits...) mais que la valeur à prendre en compte pour évaluer les transitions entre différentes formes de l'entité doit s'appuyer sur les bits composant le nombre.
Un exemple : On veut "trier" (ordonner) le nombre 6 et le nombre 65 mémorisé sur un disque dur (je ne prend pas l'exemple de la mémoire qui a besoin de rafraichir ses bits à 1...).
Physiquement parlant ça revient à comparer puis intervertir des bits au niveau d'un support physique.
Donc voici la structure de ces nombres.
6 : 00000111
65 : 01000001

Quel nombre est le plus grand ?

Pour ce faire il faut commencer par faire appel à un algorithme qui détermine quel est le nombre le plus grand.
On peut utiliser une instruction machine mais alors on sort du cadre théorique, enfin il me semble (faut pas croire qu'il ne se passe rien dans un microprocesseur...c'est même tellement complexe pour les plus récents qu'on n'a aucune chance d'avoir une adéquation entre les calculs théoriques de la variation d'entropie et la valeur réelle).
Donc il faut faire appel à un algorithme qui manipule les bits.
Question : Quel est le cout énergétique pour comparer ces deux nombres ?
Ok, ceci fait quel est le cout énergétique pour comparer deux nombres quelconques.

Ensuite, pour ordonner ces deux nombres il faut modifier les bits qui nécessitent de l'être.
Par exemple si on veut ordonner de manière décroissante alors que les nombres 6 et 65 sont actuellement ordonnés dans le sens inverse il faut sur support du 6 :
Laisser le bit 8 à 0
Mettre le bit 7 à 1
Laisser le bit 6 à 0
laisser le bit 5 à 0
Laisser le bit 4 à 0
Mettre le bit 3 à 0
Mettre le bit 2 à 0
Laisser le bit 1 à 1

Soit 3 modifications.

On fait la même chose avec le nombre 65

Et donc on constate que la valeur de l'entropie de Shannon qui dépend du nombre d'effacements de bits dépend ici dans ce cas de figure de chaque couple de nombre (ici sur 8 bits).
D'où l’intérêt assez limité de la question (ou pas je sais pas) de s'intéresser aux nombres ... qui n'ont pas de signification physique claire.
65 n'est pas "plus grand" d'un point de vue physique que "6" et on voit bien que l'entropie de Shannon n'est pas proportionnelle à la "grandeur informationnelle" (la considération mathématique) de ces nombres.


https://dridk.me/shannon-entropy.html

Merci pour ta réponse, mais tu te focalise sur l’algorithme de classement que j’avais en effet mentionné au début, considère plutot les algos suivants que j’avais proposé suite à tes remarques:
Algo A: qui transforme 1000 bits aléatoire en 1000 bits égaux à 0.
Algo B: qui transforme 1000 bits égaux à 0 en 1000 bits aléatoire avec une probabilité de 0.5 pour chaque bit.

D’autre part, en creusant un peu la question à partir de Landauer, j’ai réalisé que:
1. Ma question n’est pas aussi déjantée que je le pensais car d’autres questions similaires à la mienne ont déjà été étudiées.

2. En particulier ce gars du MIT a écrit exactement sur cette question! “Signal entropy and the thermodynamics of computation”. Il parle de:
- la réversibilité
- le concept de “logique adiabatique”, il y a même un wiki!

3. Que je sois resté ignorant de tout ce domaine me surprend!

4. Landauer, soyons clairs, j’ai lu et relu le wiki: je n’y comprend pas grand chose…

[ArchoZaure]

Algo A: qui transforme 1000 bits aléatoire en 1000 bits égaux à 0.
Algo B: qui transforme 1000 bits égaux à 0 en 1000 bits aléatoire avec une probabilité de 0.5 pour chaque bit.

Oui c'est marrant c'est pas symétrique ou du moins ça ne saute pas aux yeux...
Se pourrait-il que l'algorithme qui consiste à mettre à 0 les bits observés à 1 soit l'inverse de celui qui produirait un bit à 1 une fois sur deux à partir des bits à 0 non observés ?

[Cobalt89]

Je comprends bien que votre discussion porte sur des considérations purement théoriques, mais quelqu'un peut-il m'expliquer comment on peut produire un bit aléatoire (algoB donc) dans un processeur autre que quantique? Le gars du MIT aborde le sujet "The latter case never happens in deterministic logic but can occur in logic that has access to a physical source of random bits"

Vous partez du principe que l'accès au phénomène aléatoire n'entre pas dans la réflexion sur l'évolution de l'entropie? Je trouve ce sujet très intéressant mais probablement au delà de ma compréhension. Ne vous fatiguez pas dans une explication qui devrait reprendre trop de base si tel est le cas.. dites moi juste oui ou non.

[fred3000gt]

Oui c'est marrant c'est pas symétrique ou du moins ça ne saute pas aux yeux...
Se pourrait-il que l'algorithme qui consiste à mettre à 0 les bits observés à 1 soit l'inverse de celui qui produirait un bit à 1 une fois sur deux à partir des bits à 0 non observés ?

Euh, je ne sais pas, par contre pour maximiser l’échauffement, pour le peu que j’ai compris, il est bon que l’algo que l’algo B soit irréversible.

Je comprends bien que votre discussion porte sur des considérations purement théoriques, mais quelqu'un peut-il m'expliquer comment on peut produire un bit aléatoire (algoB donc) dans un processeur autre que quantique? Le gars du MIT aborde le sujet "The latter case never happens in deterministic logic but can occur in logic that has access to a physical source of random bits"

Vous partez du principe que l'accès au phénomène aléatoire n'entre pas dans la réflexion sur l'évolution de l'entropie? Je trouve ce sujet très intéressant mais probablement au delà de ma compréhension. Ne vous fatiguez pas dans une explication qui devrait reprendre trop de base si tel est le cas.. dites moi juste oui ou non.

Merci pour la citation intéressante du MIT. Alors effectivement, j’aurai du dire pseudo-aléatoire, mea culpa.
Note: Le quantique n’est pas requis pour l’aléatoire, tu peux avoir du vrai aléatoire sur processeur Intel avec l’instruction RdRand, qui mesure le bruit thermique sur la puce comme “source d’entropie”