Equation de Wissner-Gross: entropie vs intelligence et applications à l'IA

[fred3000gt]

Une manière assez radicalement différente d'approcher l'intelligence, et pour ce qui me concerne, l'intelligence artificielle...

je ne sais pas trop quoi en penser, en particulier car si je devais générer un max d'entropie je me contenterai tout simplement de faire des tirages avec un app sous PC utilisant simplement les générateurs quantiques au format PCI d'ID quantique...

... mais j'ai du rater quelquechose car le gars n'est pas précisément un rigolo.

Une opinion?

https://www.ted.com/talks/alex_wissn...r_intelligence
-----

[JPL]

Rappel de Rappel de la charte du forum :

La courtoisie est de rigueur sur ce forum : pour une demande de renseignements bonjour et merci devraient être des automatismes.

[invite73192618]

Une opinion?

Beaucoup d'emballage, peu de résultat concret.

[fred3000gt]

Vu la relative jeunesse de cette approche, c'est exigeant d'attendre des résultats concrets pourtant il montre déjà des simuls interessantes. Perso, je trouve ça intéressant. Par contre, j'ai de sèrieux doutes sur l'application boursière qu'il présente et je n'ai pas compris à quoi sert sa nouvelle force.

[A voir en vidéo sur Futura]

[invite73192618]

Vu la relative jeunesse de cette approche, c'est exigeant d'attendre des résultats concrets

Vu qu'il en fait le sujet d'un TED talk, ce serait le minimum qu'il y ait des résultats concrets.

Je suis d'accord que les exemples-jouets présentés sont (potentiellement, je n'ai pas évalué le détail de la programmation) intéressants, mais ce n'est que cela -des exemples jouets. Idem, l'application boursière devrait être signal d'alarme: si quelqu'un prétend avoir une bonne application boursière, soit il est très riche soit il beurre très épais.

[LeMulet]

L'intelligence permet de détourner le devenir des énergies naturelles à son profit.
Etre capable de prédire le comportement des flux énergétiques permet d’acquérir une partie de cette énergie.
C'est un principe générale que le vivant adopte depuis des lustres, que ce soit au niveau de sa sructure, de son comportement ou de son intellect..
"L'intelligence", l'ordre, bat la matière qui tend vers le désordre, et ce pour un temps (on ne peut pas récupérer toute l'énergie du milieu...c'est le désordre qui finira par gagner).

Donc, rien de très sensationnel là-dedans, mais ... c'est néanmoins et à mon avis un point qu'il faut garder à l'esprit lorsqu'on veut acquérir une nouvelle source d'énergie à partir d'un milieu énergétique.

[sunyata]

Bonjour

La formule ressemble à une adaptation du principe de variété requise de Rosh Ashby :
Un système N parvient à contrôler un système N', si l'espace des états possibles de N est supérieur à l'espace des états possibles de N'
Dans la négative, c'est N' qui prend les commandes...
C'est la théorie du Maître et de l'esclave, adaptée aux automates, qui est adaptée ici en fonction du temps.
L'idée qui ressort ne manque pas d'intérêt :
Elle fait apparaître qu'une stratégie gagnante à court terme qui restreint le nombre d'options futurs n'est pas une bonne stratégie.
Il faut préférer l'option qui maximise les possibilités de choix futur.Donc qui maximise l'entropie de Shannon des états possibles futurs.
Si à l'horizon t, l'entropie relatif aux états possibles est nulle, cela signifie qu'on se trouve face à un destin inéluctable sans aucune possibilité de choix.

Cordialement,

[invite73192618]

une stratégie gagnante à court terme qui restreint le nombre d'options futurs n'est pas une bonne stratégie.
Il faut préférer l'option qui maximise les possibilités de choix futur.Donc qui maximise l'entropie de Shannon des états possibles futurs.

Pour chance pour expliquer cela à ton(ta) conjoint(e).

[sunyata]

Pour chance pour expliquer cela à ton(ta) conjoint(e).

Là on parle d'intelligence...l'amour c'est autrechose. Tu as un cerveau jusqu'à ce que tu tombesamoureux...😂

[sunyata]

Pour chance pour expliquer cela à ton(ta) conjoint(e).

Plus sérieusement l'argument avancé ici, est que faire un choix et s'y tenir, serait une limitation dans les options futures, mais tout dépend de la nature des options futurs envisagées.
D'un point de vue évolutif, une relation stable permet de projeter son patrimoine génétique plus loin dans le futur.
Derrière cette formule, il y une idée de développement durable...

Cordialement,

[mh34]

L'intelligence permet de détourner le devenir des énergies naturelles à son profit.
Etre capable de prédire le comportement des flux énergétiques permet d’acquérir une partie de cette énergie.
C'est un principe générale que le vivant adopte depuis des lustres, que ce soit au niveau de sa sructure, de son comportement ou de son intellect..

J'ai rien compris...vous pourriez donner un exemple concret?

[LeMulet]

J'ai rien compris...vous pourriez donner un exemple concret?

Un barrage hydroélectrique.
Une membrane plasmique.
Les stomates.
Un moteur à explosion.
Un capteur photoélectrique.
La course du guépard.
Le vol de la chauve-souris.
Un volant inertiel.
La science des probabilités.
Le pistolet.
Etc.Etc.Etc

[myoper]

Un barrage hydroélectrique.
Une membrane plasmique.
Les stomates.
Un moteur à explosion.
Un capteur photoélectrique.
La course du guépard.
Le vol de la chauve-souris.
Un volant inertiel.
La science des probabilités.
Le pistolet.
Etc.Etc.Etc

Donc absolument tout ce qui se passe sur la planète puisqu'un profit peut toujours en être tiré...

[LeMulet]

Donc absolument tout ce qui se passe sur la planète puisqu'un profit peut toujours en être tiré...

Ben non.
Le flux doit être prévisible. (d'où la question de l'intelligence qui va avec)
Par exemple, le démon de Maxwell est ultimement l'être intelligent par excellence (mais il n'existe pas) qui soit le seul à pouvoir profiter d'une agitation moléculaire parfaitement désordonnées.
De la même manière, vous ne pouvez pas prévoir le tirage pile ou face parfaitement aléatoire d'une pièce de monnaie.
Ni espérer récupérer de l'énergie de l'information d'un flux qui va à la vitesse de la lumière ou dont la source et la cible sont intriqués (je n'ai pas dit le flux énergétique) .
Il y a d'autres cas de figure probablement.

Mais sinon, oui, la grande majorité des phénomènes physiques dans un monde dont les zones sont déséquilibrées peuvent être exploitées.
Reste à savoir si c'est rentable à tous les coups...puisque la "machine" qui doit effectuer les opérations prédictives qui ont un cout n'est de plus pas uniquement constituée de ce qui permet la prédiction, elle a parfois d'autres besoins qu'un tout petit gain ne suffirait pas à satisfaire (on dirait alors qu'elle "perd son temps").

Sinon, pour en revenir au sujet et à mon avis, une IA qui serait programmée pour rechercher et préférer les comportements permettant d'acquérir ce "profit", ce serait effectivement une piste pour l'auto-programmation, mais je ne suis pas sûr que ce serait une IA inoffensive..

[myoper]

Juste sur ce qui m'a fait réagir:

Un barrage hydroélectrique.
Une membrane plasmique.
Les stomates.
Un moteur à explosion.
Un capteur photoélectrique.
La course du guépard.
Le vol de la chauve-souris.
Un volant inertiel.
La science des probabilités.
Le pistolet.
Etc.Etc.Etc

Ben non.
Le flux doit être prévisible. (d'où la question de l'intelligence qui va avec)

Le flux de la membrane plasmique ou des stomates ont donc été prévue ?
Question subsidiaire: par qui et de quelles façons ou suivant quels critères ?

Je me demande si, avant d'acquérir le vol, la chauve souris à prévu quoique ce soit...

[LeMulet]

Juste sur ce qui m'a fait réagir:
Le flux de la membrane plasmique ou des stomates ont donc été prévue ?
Question subsidiaire: par qui et de quelles façons ou suivant quels critères ?
Je me demande si, avant d'acquérir le vol, la chauve souris à prévu quoique ce soit...

Oui, même si vous semblez confondre ce type d'intelligence (qui est ici structurelle) avec l'intellect, les mêmes causes produisant les mêmes effets, si certaines structures sont apparues, c'est parce-qu'elles tirent partie de faits constants. (connus et connaissables, de manière générale)
Le soleil se lèvera demain, c'est "connu" des plantes par exemple, et la photosynthèse est un moyen d'en tirer profit.

[myoper]

Oui, même si vous semblez confondre ce type d'intelligence (qui est ici structurelle) avec l'intellect, les mêmes causes produisant les mêmes effets, si certaines structures sont apparues, c'est parce-qu'elles tirent partie de faits constants. (connus et connaissables, de manière générale)

En l’absence de définition (particulièrement entre l'intellect et "ce type d'intelligence" !!! ), ce n'est pas moi qui confond mais le propos qui permet ces interprétations.
Je ne peux donc que maintenir l'affirmation du message 13 que votre présentation rend parfaitement valide.

[HenriParisien1]

Le soleil se lèvera demain, c'est "connu" des plantes par exemple, et la photosynthèse est un moyen d'en tirer profit.

Les plantes ne savent pas que soleil se lèvera demain. Simplement, s'il ne se lève pas demain (ni après-demain), elles meurent.Tout comme elles ne connaissent pas la température en avril, et si par malheur il gèle, elles meurent.
Je ne sais pas si vous vous en rendez vraiment compte, mais vous introduisez des hypothèses finalistes dans votre conception du monde.

Le vivant consomme de l'énergie. Donc il lui faut de l'énergie et en son absence, il meurt. De ce constat tout bête, vous en faite une doctrine : "le rôle du vivant est de produire de l'énergie". Un peu comme le sylogisme :
1) J'ai besoin de ma voiture pour travailler ;
2) ma voiture consomme de l'essence ;
3) j'ai besoin d'argent pour acheter de l'essence ;
4) mon travail me procure de l'argent ;

Donc je travaille pour me payer de quoi aller travailler.

[LeMulet]

Les plantes ne savent pas que soleil se lèvera demain..

Bien sur qu'elles le "savent".
La preuve en est la photosynthèse...
La connaissance est inscrit dans la structuration même de l'organisme, comme à un niveau plus élaboré dans les innés phylogénétiques chez nous les êtres pensants.
Une aile de chauve-souris est une forme intelligente, très performante, par exemple.
(les plantes ne pensent pas évidement, si ça peut vous rassurer )

Et donc, elles "savent" que la germination doit se faire en présence d'eau.
Et elles "savent" que les stomates doivent se fermer en cas de stress hydrique.
Etc, etc.
Mais je vois que la notion d'intelligence structurelle vous échappe également.

Une approche, qui permet déjà de comprendre le concept à un niveau déjà plus élévé (on en est pas à la question de l'intelligence de la structure membranaire, certes...)

Aborder l’intelligence du corps nécessite de dépasser les enjeux discriminatifs entre l’intelligence de l’esprit et l’intelligence du corps comme l’évoque H. Gardner : « On peut être choqué au premier abord que l’utilisation du corps soit considérée comme une forme d’intelligence.(…) Ce divorce entre le ‘mental’ et le ‘physique’ n’a pas manqué d’être associé à l’idée que ce que nous accomplissons avec notre corps est d’une certaine manière moins important, moins spécifique que la résolution de problèmes par l’utilisation du langage, de la logique ou d’un autre système symbolique relativement abstrait. » (Gardner, 1997, p. 219)
../..
On voit apparaître ici deux figures de l’intelligence, l’une concernant les facultés mentales (capacité à concevoir, aisance à comprendre, faculté de discernement), et l’autre concernant la mise en action (adresse et habileté, capacité d’adaptation, capacité de cohérence entre action et projet). Cela nous renvoie à l’intelligence entrevue sous l’angle des compétences, le degré de compétence devenant du même coups un indice de l’intelligence de la personne. Cette idée se retrouve chez F. Grammont quand il fait le lien entre l’intelligence et le comportement : « Ce sont les résultats obtenus par tel ou tel comportement qui en définissent l’intelligence. » (Gandolfo et alii, 2006, p. 132).

http://www.cerap.org/paradigme-du-se...99intelligence

[LeMulet]

Le vivant consomme de l'énergie. Donc il lui faut de l'énergie et en son absence, il meurt. De ce constat tout bête, vous en faite une doctrine : "le rôle du vivant est de produire de l'énergie"..

Je n'ai jamais dit ça, relisez.
J'ai dit, l'intelligence peut...pas que l'acquisition de l'énergie du milieu soit la fonction unique de l'intelligence.
Ensuite j'ai donné des exemples.

[HenriParisien1]

Bien sur qu'elles le "savent".
La preuve en est la photosynthèse...

Oui, et un thermomètre sait qu'il doit indiquer 20° quand il fait 20°...

Vous confondez la réponse d'un système à des données externes à la compréhension (même partielle) par le système du monde dans lequel il est.

[LeMulet]

Oui, et un thermomètre sait qu'il doit indiquer 20° quand il fait 20°...

Vous confondez la réponse d'un système à des données externes à la compréhension (même partielle) par le système du monde dans lequel il est.

Je ne pense pas que la compréhension (qui est une faculté trés élaborée présente chez quelques organismes dotés de structures complexes adaptées à la fonction) soit un synonyme de l'intelligence.

Je rejoins plutôt cette définition :

Cette idée se retrouve chez F. Grammont quand il fait le lien entre l’intelligence et le comportement : « Ce sont les résultats obtenus par tel ou tel comportement qui en définissent l’intelligence. » (Gandolfo et alii, 2006, p. 132).

Si on admet (hypothèse bien sûr, mais nous sommes là pour en débattre) qu'il existe un lien entre l'intelligence et le comportement, je serais enclin à penser que cette vision des choses peut aussi s'appliquer à des comportements simples associés à de l'intelligence simple.
Par exemple le "comportement" d'une molécule chimique peut être associé à une forme d'intelligence, que j'ai appelé structurelle plus haut pour la distinguer de celle qui est généralement évoquée lorsqu'on fait référence à l'intelligence.
Ici, et comme il faut bien se baser sur quelque-chose lorsqu'on effectue une comparaison, je pose (à tord ou à raison, mais il faut bien commencer par poser les choses pour les analyser...) que l'absence d'intelligence correspond aux forces de la nature à l'état brut. (ce que les anciens Grecs auraient appelés les Titans, et ce n'est évidemment pas ici une remarque scientifique mais une remarque poétique (la science cosmogonique des Grecs...) pour en illustrer l'idée).

Le comportement des molécules de la chimie minérale faisant état de moins d'intelligence que celui des molécules de la chimie organique, qui elles-mêmes adoptent des comportement moins complexes et moins intelligents que les molécules organiques complexes, telles que les protéines ou les molécules du patrimoine génétique.

Après, on avance d'un cran vers ce que nous appelons la complexité, avec les membranes, puis les cellules, pour arriver aux groupes de cellules formant les organes, comme le cerveau, jusqu'à l'intelligence dite collective.
Je simplifie grossièrement, sinon on y est encore demain.

Donc ici, avant d'en arriver aux structures que nous qualifions "d'intelligentes", comme les structures cérébrales, je pense qu'il existe aussi des structures moins complexes que l'on peut aussi qualifier d'intelligentes.
Ce sont déjà au niveau cellulaire des structures coopératives, comme le sont les structures cérébrales ou plus haut encore dans l'organisation, les structures coopératives composé des individus.
La cellule est composé d'organites qui par leur organisation profèrent à la cellule une certaine intelligence.

De la même manière, je pense ne doit pas nécessairement chercher une limite arbitraire à la notion d'intelligence mais qu'on peut aussi voir les choses comme un dégradé, se basant sur des structures de plus en plus simples.
La limite arbitraire, peut-être (mais comme dit il faut bien poser une limite pour se permettre de comparer) que je propose ici étant celle des "forces de la nature", dont nous savons qu'elles ne dévient pas d'un micro-poil une fois connues (de nous et même de des structures plus élaborées même si on ne dit pas qu'elles "savent", évidemment) et qui s'avèrent absolument prédictives et sans surprise.

A mon avis, c'est celui qui est capable de surprendre l'autre qui est le plus intelligent des deux.(Et tout prédateur digne de ce nom vous le confirmerait par les faits. )

[JPL]

Déjà que l'intelligence est difficile à définir au point de devenir la source de discussions sans fin, si en plus tu mets n'importe quoi sous ce mot, comme le comportement d'une molécule, autant dire que ce serait devenu un mot totalement inutile.

Entre hésiter sur les limites à donner à ce concept (bien difficile à conceptualiser d'ailleurs) et l'écarteler à outrance il y a des limites à ne pas franchir. Tu sais ce qu'il arrivait aux condamnés qu'on écartelait ? Ils mourraient dans d'atroces souffrance. N'inflige donc pas ce supplice à un mot respectable !

[LeMulet]

Déjà que l'intelligence est difficile à définir au point de devenir la source de discussions sans fin, si en plus tu mets n'importe quoi sous ce mot, comme le comportement d'une molécule, autant dire que ce serait devenu un mot totalement inutile.

Déjà, on ne peut pas se passer d'au moins une proposition (j'ai donné la mienne) sur ce qu'est l'intelligence si on veut pouvoir débattre de l'intérêt d'une formule donnant une valeur à l'intelligence artificielle, sachant que l'intelligence artificielle est une notion censée mimer l'intellligence, par définition.

Donc justement, là, au lieu de la définir sur la base commune (étant donné qu'on parle d'une équation générale, je ne sais pas si vous comprenez la nécessité de faire alors aussi appel à une définition plus générale de l'intelligence dans ce cas de figure particulier), je propose une définition plus générale.
Ne pouvant associer honnêtement l'intelligence commune à une valeur qu'on peut qualifier de thermodynamique, et constatant qu'on a peut-être arbitrairement posé le niveau d'intelligence "moyen" (le fait étant qu'on sait qu'il existe une forme d'intelligence plus élaborée, collective, voir culturelle, comprenant même des savoirs transmis que l'on peut qualifier de bases intellectuelles auquelles nous pouvons avoir accès collectivement (les sciences)), je proposais une limite minimale au concept d'intelligence, qui vous le remarquerez est en adéquation avec la formule dont nous discutons.

Le niveau 0 donc, à mon sens, et qui prend sens face à la formule thermodynamique devant quantifier l'IA, c'est celui qu'atteint la matière (le côté matériel étant là encore en adéquation avec l'esprit de la formule) lorsqu'elle se comporte comme les lois de la physique connus le prédit au mieux.
Au niveau atomique, donc.

Ensuite, cette première notion étant clarifiée (du moins pour moi), je constate (et c'est ce que je disais dans ma première intervention) , que la formule propose une quantification, une reprise quasiment de ce que nous savons des lois thermodynamiques, MAIS qu'elle n'est pas qualitative.
Elle ne dit pas comment l'organisation, qu'on peut évaluer thermodynamique certes avec l'entropie (ordre étant un homonyme d'organisation), se fait concrètement.
Elle ne dit rien du détail.

C'est comme de dire, j'ai un super réseau de neurones, qui doit être superintelligent puisque ma valeur d'entropie me dit qu'il l'est.
Vous vous doutez bien que si ça avait été le cas, les IA fonctionnelles que nous qualifierions d'intelligentes de manière commune seraient parmi nous depuis longtemps...

Donc soit il manque quelque-chose, puisque pour une même valeur d'entropie vous pouvez avoir une quasi infinité de variantes de structures du réseau possible (ou d'organisations dans un sens plus général), et la formule est fausse.
Soit nous ne savons pas évaluer le degrés d'intelligence d'un système et ne comprenons-nous pas ce que ce degrés d'intelligence signifie, et la formule est vraie.

Ici donc, je pose que la formule est vraie et j'essaie juste de comprendre comment concevoir les choses pour que la formule puisse s'appliquer.

Maintenant vous pouvez aussi poser que la formule n'est pas fausse dans le sens thermodynamique mais que qu'il manque quelque-chose à celle-ci qui est... l'organisation particulière en rapport avec l'intelligence qu'IMPOSE l'environnement.
On peut donc penser que c'est l'environnement dans lequel se trouve le vivant qui a restreint les formes d'organisations dites intelligentes. (celles qui se maintiennent dans l'environnement comme l'aurait dit à nouveau le prédateur efficace )

Essayer d'autres configurations ne donne rien de bon dans notre environnement connu, même si elles sont thermodynamiquement intelligentes, certes, dans l'absolu et selon une formule générale.

Ensuite, la réponse à la question de savoir comment ceci est possible; que l'environnement ait "façonné" des systèmes intelligents, et ce n'est qu'une piste de réflexion scientifique certes, peut être recherchée au niveau quantique.
Voir ici pour se faire une idée de la question :
http://www.automatesintelligents.com.../mcfadden.html

[myoper]

Les plantes ne savent pas que soleil se lèvera demain..

Bien sur qu'elles le "savent".
La preuve en est la photosynthèse...
La connaissance est inscrit dans la structuration même de l'organisme, comme à un niveau plus élaboré dans les innés phylogénétiques chez nous les êtres pensants.
Une aile de chauve-souris est une forme intelligente, très performante, par exemple.
(les plantes ne pensent pas évidement, si ça peut vous rassurer )

Elles le savent mais ne pensent pas. C'est quand même une grosse contradiction !

Mais je vois que la notion d'intelligence structurelle vous échappe également.

Tant que vous ne la définissez pas assez précisément, c'est tout et n'importe quoi puisqu'on peut y inclure absolument ce qu'on veut avec le "bon" profit estimé par quelqu'un qui n'est pas l'organisme considéré et penser à sa place avec ses propres envies, ses propres croyances et ses propres préférences.
Une pierre qui roule pourra être considéré comme mieux placée pour diverses raisons. Elle démontre la une preuve indiscutable d'intelligence pour ceux qui reconnaissent ces raisons (abris pour un insecte, gêne pour un autre qui va favoriser le premier et la pierre le sait, évidemment (comme la plante).
Bref, tout est intelligence structurelle... C'est bien.

[fred3000gt]

@Sunyata: je vais regarder ce Ross Ashby.

L'avantage en IA, c'est que vu le niveau risible de l'intelligence qu'on obtient, on ne risque pas de se perdre dans des méandres philosophiques .... en pratique ça se réduit toujours a des performances calculables objectivement, pour ce que je connais, par exemple:
- tenir un pendule inverse en équilibre (plus il tient longtemps, mieux c'est...)
- apprendre a reciter une table de vérité (linéairement séparable comme le OR, ou non-lineairement séparable comme le XOR)

C'est pour la recherche fondamentale, en recherche appliquee on peut faire des voitures qui conduisent toutes seules ou des joueurs d'echecs automatiques mais alors on invente plus rien de radicalement nouveau.

Maintenant, Alex Wissner-Gross utilise une autre métrique calculable pour mesurer la performance d'un système: sa capacité a générer un maximum d'entropie à long terme. Il dit (ce que j'en comprend) qu'un tel système est automatiquement intelligent. C'est gonflé, très gonflé, mais c'est aussi une idée nouvelle, en tout cas personellement que je n’avais jamais entendu, et pas de celles que l’on peut balayer du revers de la main…

Le papier de Physical Letter:
http://math.mit.edu/~freer/papers/Ph...110-168702.pdf

[VincentA04]

Maintenant, Alex Wissner-Gross utilise une autre métrique calculable pour mesurer la performance d'un système: sa capacité a générer un maximum d'entropie à long terme. Il dit (ce que j'en comprend) qu'un tel système est automatiquement intelligent. C'est gonflé, très gonflé, mais c'est aussi une idée nouvelle, en tout cas personellement que je n’avais jamais entendu, et pas de celles que l’on peut balayer du revers de la main…
Le papier de Physical Letter:
http://math.mit.edu/~freer/papers/Ph...110-168702.pdf

L'idée n'est de fait pas nouvelle, voir eg http://homepages.herts.ac.uk/~comqdp1/ (où on parle d'empowerment).

C'est plutôt la présentation, qui parle d'entropie, qui est un peu différente.
Mais attention, ce n'est pas un calcul d'entropie (d'état), c'est un calcul d'entropie de chemin (path-entropy, ce n'est pas du tout la même chose).
Et c'est même un calcul de "causal path entropy" qui est un truc particulier défini par les auteurs.

De fait, les 2 auteurs disent souvent que le calcul employé maximise simplement le nombre de chemins futurs du système (dans son espace d'état).
Pour ce que j'ai cru comprendre, voir page 1 de l'article, cela a pour effet d'éloigner le système contrôlé des limites/bord de son espace de phase.
Dans le cas du pendule inversé, quand le chariot atteint une extrémité, son déplacement en translation est réduit (il perd un degré de liberté).
Les chemins futurs possibles dans ce (mauvais) coin de l'espace de phase sont de facto plus réduits qu'ailleurs.
En comptant tout simplement les chemins et en choisissant les actions de pilotage qui maximisent le nombre de chemin,
le système évite les mauvais endroits.

C'est en fait assez simplet, mais pour autant, cette simplicité donne peut-être de la robustesse au contrôle.

Ceci dit, ça marche pour des problèmes simples, comme ceux exhibés,
est-ce que ça suffit pour des problèmes plus complexes, où les optimums sont planqués aux milieux de beaucoup d'optimums locaux ? pas sûr du tout.

Le papier est intéressant, mais perso je ne suis absolument pas certain,
ni que la fonction proposée dans le papier soit bien une fonction d'entropie
ni que ce soit bien cela qui soit utilisé dans leurs exemples.

Par ailleurs, les additionals infos sur les exemples indiquent un pendule qui mesure 40m de long et pèse 10^^-21 kg.
... ça parait un peu farfelu (ils ont voulu voir si les lecteurs suivent ?).

[fred3000gt]

Après plusieurs semaines de travail (!) sur le sujet, je me rend compte de la pertinence de tes commentaires.

Pour l'instant on a travaillé uniquement sur un glisseur dont le mouvement est limité entre 2 bornes. Wissner ne détaille pas la méthode exacte suivie pour le calcul d'entropie et c'est bien ennuyeux (meme sans le "suplemental paper") car on a du tester de nombreuses approches.

Par exemple:
- Doit-on prendre uniquement les positions, mais sans les vitesses?
- L'entropie au sens de Shanon est-elle bien pertinente? Par exemple, un glisseur qui se deplace uniformement d'une borne à l'autre genere la meme entropie dans la suite de ses positions (somme des Pi.logPi) qu'un parcours aleatoire tel que chaque position est occupée le même nombre de fois. Du coup on s'est même demandé si l'on de devrait pas plutot utiliser des métriques utilisées en codage de l'information (ce qui revient à dire que la suite des positions se comprime bien avec Zip lors d'une transition uniforme).
- Doit-on calculer tous les chemins possibles, ou un ratio entre les chemins possible sous contrainte (ici les bornes) et ceux sans contrainte.

En plus, bah j'ai redécouvert les travaux de Polinari que tu avais déjà cités (mais je ne sais pas pourquoi j'avais pas creusé -à tort- cette histoire d'empowerment à l'époque ).

Je pense toujours que l'approche entropique est intéressante car elle permet de se passer de l'expression d'une fonction d'erreur, qui est de fait particulière à chaque problème, sans compter qu'elle est parfois inconnue (la fonction d'erreur pour caracteriser le niveau d'intelligence au sens de Turing par exemple).

Par contre, le prix à payer est lourd puisqu'il faut simuler tous les futurs possibles (!), mais bon j'ai toujours une préférence pour des approches décalées, vu le peu de succès des approches standard en IA...

Pas remarqué le gag sur les 10E-21, c'est curieux en effet.