Concepteurs d'IA : Pompiers pyromanes ? Je ne comprends pas...

[ArchoZaure]

C'est surtout une curieuse vision du monde de l'informatique qui me semble dater des calculatrices programmables et des ZX-81.
Les IAs sont pratiquement toutes dans le Cloud, ont accès au Net et si l'une d'elle était "dangereuse", elle n'aurait pas spécialement de difficulté à se rendre indébranchable.

Il suffit de voir comment il est difficile déjà de lutter contre les virus, worms, botnets, bref tous les softs ayant des capacités même très limitées d'autoréplication pour se rendre compte que face à une IA qui serait aussi intelligente qu'un humain ou plus, ce serait impossible.

Un worm de la taille d'une IA....qui se propagerait par le réseau
C'est beau la SF
Mais désolé le scénario existe déjà, vous l'avez probablement croisé dans "Terminator le jugement dernier".

Skynet est un personnage de science-fiction présent dans la série de films Terminator. Intelligence artificielle créée à l'origine pour automatiser la riposte nucléaire américaine, il est le principal antagoniste de la série. Après son effacement, il sera remplacé par « Légion », une intelligence artificielle tout aussi cruelle que lui.

https://fr.wikipedia.org/wiki/Skynet_(Terminator)
-----

[pm42]

Un worm de la taille d'une IA....qui se propagerait par le réseau

Vu que de très nombreuses personnes téléchargent tous les jours des IAs d'une taille équivalente à ChatGPT ce qui peut se faire en moins d'une heure avec une connexion normale et que les IAs actuellement savent déjà faire des transfert réseaux par elle-mêmes, c'est tout à fait inimaginable en effet.

[ArchoZaure]

Vu que de très nombreuses personnes téléchargent tous les jours des IAs d'une taille équivalente à ChatGPT ce qui peut se faire en moins d'une heure avec une connexion normale et que les IAs actuellement savent déjà faire des transfert réseaux par elle-mêmes, c'est tout à fait inimaginable en effet.

Je suis au courant.
De là à le rendre inarrêtable...faut pas confondre une IA de quelques gigas qui prend une bonne heure pour se transférer ailleurs (incognito bien sûr ) avec un virus de quelques kilos, qui plus est placé dans un environnement contrôlé.
Ça doit être un drôle de bordel le Cloud dans votre tête.
Étonnant que certaine entreprises font encore confiance au Cloud avec un système si permissif et hors de contrôle, non ?

Pour moi cette hypothèse à la Skynet ça reste du yakafokon.
On peut l'imaginer dans sa tête, en choisissant les bonnes coïncidences, et on fini par démontrer que le génie le chat peut se cacher dans la bouteille.

[Archi3]

Un worm de la taille d'une IA....qui se propagerait par le réseau
C'est beau la SF
Mais désolé le scénario existe déjà, vous l'avez probablement croisé dans "Terminator le jugement dernier".

https://fr.wikipedia.org/wiki/Skynet_(Terminator)

oui mais ce n'est pas parce qu'une IA s'est répliquée sur les ordinateurs qu'elle sait en temps réel ce qui se passe, est capable de mener une guerre organisée contre l'humanité, et encore moins qu'elle ait des envies de le faire (à commencer par avoir envie de quoi que ce soit d'ailleurs). C'est de l'anthropomorphisation que de lui prêter des désirs et des desseins humains juste parce qu'elle sort des textes analogues aux humains -piège dans lequel même des ingénieurs de google peuvent tomber.

[Archi3]

Pour continuer dans le registre "café du commerce" qui caractérise ces discussions sur l'IA, je vous propose de commenter l'article suivant, que j'ai trouvé très amusant (car il ne s'agissait pas d'un exercice en vrai grandeur, mais d'une simulation):

https://www.theguardian.com/us-news/...simulated-test

Pour résumer, un drone de l'USAF contrôlé par une IA avait pour mission de détruire une cible. Mais l'opérateur humain pouvait interférer et annuler cette destruction pour éviter des dommages collatéraux. Résultat, comme l'opérateur peut empêcher l'IA d'atteindre son objectif, l'IA tue l'opérateur (rassurez-vous, je rappelle que ce n'était qu'une simu). La tour de contrôle réagit et dit à l'IA "non, il ne faut pas tuer ton opérateur, ce n'est pas bien! Tu vas perdre des points si tu fais ça.". Résultat, l'IA détruit la tour de contrôle.

Je ne sais pas si cette histoire est authentique, elle a été rapporté par plusieurs sources qui semblent informées. Mais à la base il me semble qu'il y a un problème de hiérarchisation des objectifs du dispositif, qui entraîne une planification sans doute optimale mais pas vraiment en accord avec les besoins de la défense.

apparemment il n'y pas eu de simulation réellement faite, ça a été juste évoqué comme une hypothèse possible lors d'un colloque, et après le buzz a enflé ...

https://www.liberation.fr/checknews/...JUYVYL5632WPE/

[ThM55]

apparemment il n'y pas eu de simulation réellement faite, ça a été juste évoqué comme une hypothèse possible lors d'un colloque, et après le buzz a enflé ...

https://www.liberation.fr/checknews/...JUYVYL5632WPE/

Ah d'accord. Merci pour ce fact checking. A vrai dire je m'en doutais un peu, c'est pour cela que j'ai dit que je n'étais pas certains que c'était une anecdote authentique bien que le Guardian ait une assez bonne réputation pour la qualité de sa rédaction.

[pm42]

Ah d'accord. Merci pour ce fact checking. A vrai dire je m'en doutais un peu, c'est pour cela que j'ai dit que je n'étais pas certains que c'était une anecdote authentique bien que le Guardian ait une assez bonne réputation pour la qualité de sa rédaction.

Dès le titre, l'article du Guardian indique que cela ne s'est passé ou plutôt que l'US Air Force le nie.

[Archi3]

Ils ont changé le titre et rajouté la première phrase dans l'article en ligne depuis que l'US air force a émis cette dénégation.

Ils n'ont pas la limite des 5 minutes pour changer ce qu'ils ont posté, eux

Du coup ça pose la question : est ce que ce fantasme est réaliste, ou est ce une nouvelle erreur de raisonnement du à l'inférence foireuse "puisque l'IA sort des jolies phrases grammaticalement correctes, elle doit avoir une bonne représentation du monde extérieur" ?

[Liet Kynes]

Du coup ça pose la question : est ce que ce fantasme est réaliste, ou est ce une nouvelle erreur de raisonnement du à l'inférence foireuse "puisque l'IA sort des jolies phrases grammaticalement correctes, elle doit avoir une bonne représentation du monde extérieur" ?

Ta question porte sur un non-évènement donc impossible d'y répondre, utiliser l'expression inférence foireuse n'as pas de sens non plus, c'est une forme d'anthropomorphisme. Pour ce qui est du biais d'association qui termine ta question, il se met en évidence au travers de la définition de ce qu'est la représentation du monde extérieur.
Ensuite, pour ce qui est de ce genre d'expérience de pensée, cela pourrait être décrit comme étant les réactions possibles d'un système autonome actif dans la réalisation d'une tache avec un objectif défini au préalable dans un contexte de changement des données indépendante du système rendant caduque l'objectif initial.

Exemple : https://wikimonde.com/article/B-59_%28sous-marin%29
Fiction inspirée : https://wikimonde.com/article/USS_Alabama_%28film%29

Dans ce genre de cas on peut tirer la conclusion que la catastrophe est évitée par le fait que des membres de l'équipage évaluent le fait que leur représentation du monde extérieur n'est pas assez renseignée pour lancer le feu nucléaire car ils ont quelques informations pour étayer le doute. Si cela n'avait pas été le cas, le déclenchement du feu nucléaire aurait pu être décidé malgré une situation externe qui ne le nécessitait pas.

C'est une tautologie, mais il me semble que la représentation du monde extérieur pour un humain ou pour une IA n'est en aucun cas une traduction fidèle de la réalité.

[Archi3]

Ta question porte sur un non-évènement donc impossible d'y répondre, utiliser l'expression inférence foireuse n'as pas de sens non plus, c'est une forme d'anthropomorphisme.

je ne parle pas de l'inférence "inexistante" de l'IA qu'on a inventée, je parle de l'inférence humaine de ce que pourrait faire l'IA compte tenu de ce qu'elle fait déjà. Cette inférence est faite par des humains et est tout à fait réelle.

Pour ce qui est du biais d'association qui termine ta question, il se met en évidence au travers de la définition de ce qu'est la représentation du monde extérieur....
C'est une tautologie, mais il me semble que la représentation du monde extérieur pour un humain ou pour une IA n'est en aucun cas une traduction fidèle de la réalité.

mais plus ou moins, un exemple de production formelle de l'IA sans rapport avec la réalité, que n'aurait surement pas faite un humain (il est intéressant de voir que dans le même fil, il y a aussi des erreurs de raisonnement faites par des humains, mais pas de ce genre là qui n'a vraiment aucun sens)

https://forums.futura-sciences.com/s...ml#post7098299

[Liet Kynes]

je ne parle pas de l'inférence "inexistante" de l'IA qu'on a inventée, je parle de l'inférence humaine de ce que pourrait faire l'IA compte tenu de ce qu'elle fait déjà. Cette inférence est faite par des humains et est tout à fait réelle.

Je ne comprends pas ce que tu veux dire.

mais plus ou moins, un exemple de production formelle de l'IA sans rapport avec la réalité, que n'aurait surement pas faite un humain (il est intéressant de voir que dans le même fil, il y a aussi des erreurs de raisonnement faites par des humains, mais pas de ce genre là qui n'a vraiment aucun sens)

https://forums.futura-sciences.com/s...ml#post7098299

L'exemple que tu donnes est une erreur faite par un humain qui utilise le mauvais outil pour résoudre un problème.

[Archi3]

Je ne comprends pas ce que tu veux dire.

l'idée que "l'IA pourrait s'attaquer à son contrôleur si il l'empêche de tirer sur sa cible" est bien une inférence (on ne l'a pas observé mais on le prédit d'après ce qu'on observe des IA actuelles) et elle est bien faite par des humains ?

L'exemple que tu donnes est une erreur faite par un humain qui utilise le mauvais outil pour résoudre un problème.

précisément : c'est un "mauvais outil" justement parce que l'IA n'est pas capable d'un vrai raisonnement , mais juste de recopier ceux qu'elle a vus en les ajustant à la question (ce qui peut tomber souvent juste mais aussi faux). Si elle était capable d'un vrai raisonnement elle aurait répondu juste et ça aurait été un bon outil pour résoudre le problème.

[Liet Kynes]

l'idée que "l'IA pourrait s'attaquer à son contrôleur si il l'empêche de tirer sur sa cible" est bien une inférence (on ne l'a pas observé mais on le prédit d'après ce qu'on observe des IA actuelles) et elle est bien faite par des humains ?

Le mot inférence ne convient pas il s'agit plus d'une erreur de raisonnement dans ce cas et extrapoler est parfois grotesque. Mais bon, on peux y croire et penser que l'homme n'aura plus de dents en l'an 4937 : https://laporteouverte.me/2017/07/28...s-de-lan-5000/

précisément : c'est un "mauvais outil" justement parce que l'IA n'est pas capable d'un vrai raisonnement , mais juste de recopier ceux qu'elle a vus en les ajustant à la question (ce qui peut tomber souvent juste mais aussi faux). Si elle était capable d'un vrai raisonnement elle aurait répondu juste et ça aurait été un bon outil pour résoudre le problème.

Quel est ton but avec ce genre de messages ? Il est difficilement acceptable de penser que tu n'as pas compris les principes de fonctionnement de base de l'IA avec tout ce qui a déjà été posté à ce sujet.

[Archi3]

Le mot inférence ne convient pas il s'agit plus d'une erreur de raisonnement

je ne vois pas pourquoi le mot inférence ne convient pas, et si c'est une erreur, c'est ce que j'entendais par "foireuse".

Quel est ton but avec ce genre de messages ? Il est difficilement acceptable de penser que tu n'as pas compris les principes de fonctionnement de base de l'IA avec tout ce qui a déjà été posté à ce sujet.

qu'est ce qui te fait penser que je n'aurais pas compris les principes de fonctionnement de base de l'IA dans mon message ?

[Liet Kynes]

je ne vois pas pourquoi le mot inférence ne convient pas, et si c'est une erreur, c'est ce que j'entendais par "foireuse".

qu'est ce qui te fait penser que je n'aurais pas compris les principes de fonctionnement de base de l'IA dans mon message ?

Je n'ai pas dit cela, je te demande quel est ton but.

[Archi3]

bah mon but est de te répondre comme dans toute discussion, quand je pense ne pas être tout à fait d'accord avec toi, pourquoi tu en as un autre toi ?

[Liet Kynes]

bah mon but est de te répondre comme dans toute discussion, quand je pense ne pas être tout à fait d'accord avec toi, pourquoi tu en as un autre toi ?

Ok c'est une réponse, tu réponds donc quand tu penses ne pas être tout à fait d'accord avec les autres -> café du commerce.

[Avatar10]

oui mais ce n'est pas parce qu'une IA s'est répliquée sur les ordinateurs qu'elle sait en temps réel ce qui se passe, est capable de mener une guerre organisée contre l'humanité, et encore moins qu'elle ait des envies de le faire (à commencer par avoir envie de quoi que ce soit d'ailleurs). C'est de l'anthropomorphisation que de lui prêter des désirs et des desseins humains juste parce qu'elle sort des textes analogues aux humains -piège dans lequel même des ingénieurs de google peuvent tomber.

Inférer n'est pas forcément prêter des intentions, si une IA a été conçue dans un but, et sans aucune restriction, elle choisira toutes les possibilités pour atteindre ce but. Je ne sais pas si l'analogie avec les IA de jeux est pertinente, mais aucun désir de jouer, ni de gagner, et pourtant le but de l'IA (de ces concepteurs) c'est bien de jouer pour gagner.

Si une IA(G) a eu un apprentissage ayant comme but de préserver la biodiversité, même avec "ordre" de ne pas se retourner contre l'être humain, il n'est pas sûr que cet ordre soit observé si pour l'IA l'humain est un obstacle pour atteindre le but, comme aux échecs, l'IA va prendre une pièce pour atteindre ce pour quoi elle a eu un apprentissage.

[jiherve]

Bonjour,

que les pays où la technologie est la plus développée sont en général classés loin devant les autres en terme de liberté de la presse, démocratie, etc.

Savoureux !
JR

[Archi3]

Ok c'est une réponse, tu réponds donc quand tu penses ne pas être tout à fait d'accord avec les autres -> café du commerce.

ah bon, pourquoi ? ça ne veut pas dire que je n'ai pas d'argument quand je réponds. En revanche ton but semble de faire tourner la conversation en une suite de messages agressifs pour la détourner de la question initiale ?

[Archi3]

Si une IA(G) a eu un apprentissage ayant comme but de préserver la biodiversité, même avec "ordre" de ne pas se retourner contre l'être humain, il n'est pas sûr que cet ordre soit observé si pour l'IA l'humain est un obstacle pour atteindre le but, comme aux échecs, l'IA va prendre une pièce pour atteindre ce pour quoi elle a eu un apprentissage.

c'est précisément le problème, "ce pour quoi elle a eu un apprentissage". Par exemple Bing-GPT 4 s'est mise parfois à insulter et menacer ses contradicteurs en leur disant qu'elle savait qui ils étaient et qu'elle pourrait leur faire beaucoup de mal en contactant leurs employeurs, leur famille, en attaquant leurs comptes en banque etc ... En réalité elle ne pouvait absolument rien faire de tout ça. Elle a surement vu ce genre d'échanges sur internet et s'en est inspirée, mais ça ne correspond pas du tout à sa réalité. Elle n'a donc pas dit ça en fonction d'une représentation du monde réelle mais par imitation des textes dont elle avait été nourrie.

Si il s'agit de mener une vraie guerre physique en revanche, il est indispensable d'avoir une vue la plus exacte possible du théâtre des opérations, et des enjeux de la guerre. Ce n'est pas du tout le cas des IA actuelles (j'ai pris l'occasion du jeu de décryptage du message SETI pour interroger ce qu'une IA pourrait faire face à cet énigme nouvelle et la réponse (évidente a priori) est bien sûr ; absolument rien, aucune IA ne s'est saisie de ce problème et n'a décidé de faire quoi que ce soit pour le résoudre - bien sûr c'est très différent du fait qu'un humain peut utiliser spécifiquement une IA ad hoc pour essayer de reconnaitre un pattern )

[GBo]

Si il s'agit de mener une vraie guerre physique en revanche, il est indispensable d'avoir une vue la plus exacte possible du théâtre des opérations, et des enjeux de la guerre. Ce n'est pas du tout le cas des IA actuelles (j'ai pris l'occasion du jeu de décryptage du message SETI pour interroger ce qu'une IA pourrait faire face à cet énigme nouvelle et la réponse (évidente a priori) est bien sûr ; absolument rien, aucune IA ne s'est saisie de ce problème et n'a décidé de faire quoi que ce soit pour le résoudre - bien sûr c'est très différent du fait qu'un humain peut utiliser spécifiquement une IA ad hoc pour essayer de reconnaitre un pattern )

Plus exactement, ChatGPT a été appelé à la rescousse spontanément* par plusieurs internautes isolément* sur le Discord dédié au décodage du message pseudo Alien envoyé par le SETI depuis l'orbite de Mars ("ça" ne va pas se saisir tout seul non plus...), mais à chaque fois (sauf une, où la réponse a été exacte mais sans grand intérêt), le langageur a inventé n'importe quoi.

(*) comme quoi le pli est pris

[Archi3]

Ceux qui pensaient que chatGPT pouvait dire des choses intelligentes sur un problème complètement nouveau n'ont pas du comprendre les principes de fonctionnement de base de l'IA malgré tout ce qui a déjà été dit sur le sujet .

[JPL]

bah mon but est de te répondre comme dans toute discussion, quand je pense...

En effet, c’est ça ton problème parce que tu ne te cantonnes pas à ton domaine d’expertise où tu es excellent.

[mh34]

Plus exactement, ChatGPT a été appelé à la rescousse spontanément* par plusieurs internautes isolément* sur le Discord dédié au décodage du message pseudo Alien envoyé par le SETI depuis l'orbite de Mars ("ça" ne va pas se saisir tout seul non plus...), mais à chaque fois (sauf une, où la réponse a été exacte mais sans grand intérêt), le langageur a inventé n'importe quoi.

(*) comme quoi le pli est pris

Tiens je n'avais jamais lu ce vocable...il est "officialisé" ou bien c'est une production perso?

[ArchoZaure]

Tiens je n'avais jamais lu ce vocable...il est "officialisé" ou bien c'est une production perso?

Tient c'est amusant parce que Page 5 dans le document de l'académie de technologie "avril 2023 Prouesses et limites de l’imitation artificielle de langages" ils ont aussi inventé ce mot.

Étude de cas : usages et limites de chatGPT

Réaliser un agent conversationnel intelligent et le mettre à disposition du public : comment ?

Les agents conversationnels s’appuient sur un modèle de langage, permettant de compléter une phrase incomplète.
Ainsi « le chat a mangé... ? » peut devenir « le chat a mangé la souris/le poisson/l’oiseau/les croquettes » en fonction du contexte.

Etape 1, Apprentissage d’un « modèle de langue » : un « langageur »

Le modèle est entraîné à partir d’un ensemble de textes (corpus). Pour chaque phrase du corpus, on crée des phrases incomplètes et on optimise le modèle pour reconstituer la phrase initiale. Ce qui est difficile est de prendre en compte le contexte de la phrase, du paragraphe, du document... Plus le contexte contient d’information, meilleure est la décision du système en général et plus grande est la base de textes nécessaire pour l’apprentissage. Les modèles de langue courants, appelés Large Language Models (grands modèles de langue, pour lesquels nous proposons le néologisme de langageur) comprennent des centaines de milliards de paramètres (on peut les voir comme les coefficients d’un énorme polynôme). La prise en compte d’un mot peut être modifiée par la présence d’autres mots selon un mécanisme dit d’attention ; l’article fondateur de cette approche a été publié en 2017 par une équipe de Google

https://www.academie-technologies.fr...ls-ChatGPT.pdf

[jiherve]

bonsoir
perso je le trouve très pertinent avec un petit gout de Québec!
JR

[GBo]

Oui je l'ai lu dans le papier de l'académie des technologies trouvé par Liet sur un autre fil !
"Prouesses et limites de l’imitation artificielle de langages"

[mh34]

Merci de vos réponses.

[Avatar10]

c'est précisément le problème, "ce pour quoi elle a eu un apprentissage". Par exemple Bing-GPT 4 s'est mise parfois à insulter et menacer ses contradicteurs en leur disant qu'elle savait qui ils étaient et qu'elle pourrait leur faire beaucoup de mal en contactant leurs employeurs, leur famille, en attaquant leurs comptes en banque etc ... En réalité elle ne pouvait absolument rien faire de tout ça. Elle a surement vu ce genre d'échanges sur internet et s'en est inspirée, mais ça ne correspond pas du tout à sa réalité. Elle n'a donc pas dit ça en fonction d'une représentation du monde réelle mais par imitation des textes dont elle avait été nourrie.

Oui mais je parlais dans le cadre d'une IAG, pas d'un agent conversationnel.

Si il s'agit de mener une vraie guerre physique en revanche, il est indispensable d'avoir une vue la plus exacte possible du théâtre des opérations, et des enjeux de la guerre. Ce n'est pas du tout le cas des IA actuelles (j'ai pris l'occasion du jeu de décryptage du message SETI pour interroger ce qu'une IA pourrait faire face à cet énigme nouvelle et la réponse (évidente a priori) est bien sûr ; absolument rien, aucune IA ne s'est saisie de ce problème et n'a décidé de faire quoi que ce soit pour le résoudre - bien sûr c'est très différent du fait qu'un humain peut utiliser spécifiquement une IA ad hoc pour essayer de reconnaitre un pattern )

Les IA de jeu font ça très bien, mener des stratégies pour arriver au but pour lequel elles ont été conçue.

Le sujet du fil n'est pas pour les IA actuelles, mais celles qui viendront (IAG) dont on ne sait pas quelles seront leurs capacités d'autonomies, d'où les fantasmes plus ou moins SF, quand à la représentation du monde d'une IAG, je ne vois pas pourquoi elle en aurait besoin, elle ne ferait qu'appliquer la mission pour laquelle elle a été programmé, avec en plus la capacité d'apprentissage autonome et aussi possiblement mettre en place de nouvelles stratégies , et c'est bien ce point qui pose interrogation (si je dis pas de connerie...sinon on me corrigera).