La généralisation de l'IA et le risque de cyber-attaque majeure

[Archi3]

Tu soulignes quelque-chose de très pertinent : La perception d'un risque est liée à ce que la collectivité juge comme étant moralement acceptable.
Les aspects aussi subjectifs que nos valeurs éthiques, nos politiques, nos règlementations, et nos normes conditionnent la notion de Risque, et la manière de le gérer. Il y a aussi une balance qui est faite entre les gains et le coûts potentiels pour la collectivité à l'instar des vaccins.

Cordialement

effectivement la voiture est un bon exemple qui illustre à quel point la perception d'un "problème" et d'un "danger" est dépendant du contexte social - par exemple les engagements pour remplacer les véhicules thermiques par des véhicules électriques semblent indiquer qu'on perçoit actuellement les inconvénients de l'usage des combustibles fossiles comme très supérieurs à ceux des voitures en général, et que si on n'avait que des VE on n'aurait "presque plus de problème", ce qui ne résisterait probablement pas à une analyse rationnelle.

Les "dangers de l'IA" sont essentiellement des peurs projetées. Les spécialistes savent très bien que l'idée d'une IA qui "prendrait le pouvoir" et ferait une suite d'actions logiques pour contrôler le monde est totalement fantasmatique et que les IA n'ont aucune "connaissance globale" du monde réel qui leur permette de vivre dans un monde réel - je rappelle que dès qu'on suspecte un problème d'attaque de hacker, on déconnecte un réseau de l'extérieur et que bien sur rien n'a jamais empêché de couper le courant à un ordinateur.

Les "dangers" qui sont déjà en partie réalisés me semblent être plutot dans la trop grande délégation de tâches à des systèmes qui sont d'une part susceptibles de "hackage" (cf la mésaventure du chatBot de Microsoft ayant appris à être raciste en quelques jours), d'autre part incapables de s'adapter à des circonstances exceptionnelles et même inatteignables pour corriger des erreurs : il y a déjà eu le cas d'une spécialiste de l'IA ayant vu une biographie pleine d'erreur apparaître sur un site, probablement générée par IA , et elle demandait : mais à qui je m'adresse pour faire rectifier ?

Mais ce n'est probablement des menaces "existentielles" pour notre société, juste une cascade de situations énervantes et de procès à prévoir ....
-----

[oualos]

(cf la mésaventure du chatBot de Microsoft ayant appris à être raciste en quelques jours)

Ils avaient mis un curseur large et ce chatBox apprenait en fonction des réponses des individus qui dialoguaient avec lui sans faire tellement de censure ou mettre de barrières.
Et comme c'était aux USA, les injures sexistes et racistes sont monnaie courante, pas de limite à la "liberté d'expression" selon un amendement de leur Constitution: aussi les menaces du style "je te connais je peux avoir ton numéro de sécu facilement et tes coordonnées, je connais ta femme, ta famille et ton patron: je vais faire en sorte que ton patron te vire et que ta femme te quitte et que l'on vire tes enfants de leur école"...
Il ne faisait que répéter les menaces dont il avait fait l'objet au cours de dialogues donc très rapidement il a fallu que Microsoft le déconnecte
Cette anecdote est très souvent citée concernant l'IA.

[pm42]

Cette anecdote est très souvent citée concernant l'IA.

Et obsolète : on sait éviter cela avec les IAs actuelles.
C'est la même chose pour les réponses fausses comme la biographie : on n'est pas encore à 100%, c'est toujours un problème mais on a des axes de recherche intéressants.

On retombe sur le même sujet de l'évaluation des risques : l'IA notamment générative est un domaine qui évolue incroyablement vite. Certains des problèmes d'il y a 3 ans n'existent plus, d'autres sont apparus.
Dans ces conditions, prévoir les "risques" est très difficile.

Et au delà, il est également possible qu'on approche du haut de la courbe classique du Gartner Group : https://emt.gartnerweb.com/ngw/globa...jYwOS42MC4wLjA.

Ce qui veut dire que prochainement, on risque de lire des articles nettement moins enthousiastes sur les IAs génératives, sur les difficultés qu'il y a à trouver des cas d'usage pertinents en entreprise, etc. Cela a déjà un peu commencé.
Ce qui n'empêchera pas la maturation de la technologie et sa généralisation à terme.

On a vécu ça avec Internet et notamment la folie complète avant l'explosion de la bulle en 2000.
Ceci dit, cette courbe n'est pas inéluctable non plus et certaines technologies suivent des trajectoires différentes.

[Archi3]

Et obsolète : on sait éviter cela avec les IAs actuelles.
C'est la même chose pour les réponses fausses comme la biographie : on n'est pas encore à 100%, c'est toujours un problème mais on a des axes de recherche intéressants.

On retombe sur le même sujet de l'évaluation des risques : l'IA notamment générative est un domaine qui évolue incroyablement vite. Certains des problèmes d'il y a 3 ans n'existent plus, d'autres sont apparus.

justement, il est difficile d'anticiper des failles qui peuvent apparaître avec des nouveaux systèmes avant de les constater. C'était le sens que je donnais à cette anecdote, pas pour dire que ce défaut ne pouvait pas être corrigé.
je ne sais pas si vous avez suivi la fureur qui s'est répandu dans les labos après la mise en place d'un nouveau système de gestion des missions, très mal conçu et très lourd d'utilisation. Ca prouve à tout le moins que des professionnels peuvent faire de gros flops et complètement mésestimer les inconvénients des nouveaux services qu'ils mettent en place. Le problème de l'IA est qu'elle ne changera pas si on lui dit que ce qu'elle fait n'est pas bien. Par exemple si je dis à chatGPT qu'il faut qu'il arrête de répondre quand il ne sait pas un truc, il sera incapable d'en tenir compte - en fait il ne sait même pas qu'il ne sait pas les trucs.

[titijoy3]

Les "dangers de l'IA" sont essentiellement des peurs projetées. Les spécialistes savent très bien que l'idée d'une IA qui "prendrait le pouvoir" et ferait une suite d'actions logiques pour contrôler le monde est totalement fantasmatique et que les IA n'ont aucune "connaissance globale" du monde réel qui leur permette de vivre dans un monde réel

j'aurais tendance à dire: pour l'instant

- je rappelle que dès qu'on suspecte un problème d'attaque de hacker, on déconnecte un réseau de l'extérieur et que bien sur rien n'a jamais empêché de couper le courant à un ordinateur


sauf si tout le système est géré de façon complètement informatique te autonome..

[pm42]

Par exemple si je dis à chatGPT qu'il faut qu'il arrête de répondre quand il ne sait pas un truc, il sera incapable d'en tenir compte - en fait il ne sait même pas qu'il ne sait pas les trucs.

C'est partiellement vrai. J'utilise actuellement GPT-4 pour interroger des bases documentaires et avec le prompt engineering, on arrive bien à lui faire dire qu'il ne sait pas quand il ne trouve pas l'information.

Et là, je parle d'une technique très simple. Il existe des méthodes plus avancées mais je n'ai plus les références sous la main.

[titijoy3]

Par exemple si je dis à chatGPT qu'il faut qu'il arrête de répondre quand il ne sait pas un truc, il sera incapable d'en tenir compte - en fait il ne sait même pas qu'il ne sait pas les trucs.



cela signifie t'il que le cas n'a pas été prévu par les programmeurs ?

[pm42]

cela signifie t'il que le cas n'a pas été prévu par les programmeurs ?

Cela veut surtout dire que les IA ne sont pas programmées et qu'il n'y a pas de programmeurs derrière en train de coder les "différents cas" comme pour un programme classique.
Une IA n'a absolument rien à voir avec ça : elle apprend à partir des données qu'on lui donne. C'est ce qui fait sa force : elles sont capables de faire des choses qui sont inaccessibles à la programmation classique ou du tout moins largement mieux. C'est aussi leur faiblesse : on ne peut pas en attendre le même degré de rigueur et de reproductibilité. En tout cas pour le moment.

[oualos]

Par exemple si je dis à chatGPT qu'il faut qu'il arrête de répondre quand il ne sait pas un truc, il sera incapable d'en tenir compte - en fait il ne sait même pas qu'il ne sait pas les trucs.

Il ne sait pas ce que veut dire "savoir". Et en plus pour couronner le tout, de par la programmation il est incapable de citer ou retrouver ses sources.

Là on est en plein dans la différence quasi-binaire et non biaisée homme-machine.
Une des raisons selon moi qui fait qu'il ne pourra jamais avoir de conscience c'est l'impossibilité chez lui de symbolisation de ce que signifie le terme "savoir", ce terme faisant de longs débats depuis l'Antiquité.
allez lui expliquer "je sais que je ne sais rien", phrase proclamée depuis Socrate -le premier philosophe- et ensuite Descartes et Montaigne jusqu'à Jean Gabin qui en a fait une chanson.

Pour des scientifiques, cette phrase est absolument évidente mais pas que...
J'irais jusqu'à dire qu'elle fait partie de la condition humaine mais comme l'IA ne sait pas ce que c'est la condition humaine...

[newfrench]

Bonjour, ne peut on pas utiliser l'IA pour détecter les failles d'un système et en proposer des solutions?

[polo974]

Il ne sait pas ce que veut dire "savoir". Et en plus pour couronner le tout, de par la programmation il est incapable de citer ou retrouver ses sources.

Là on est en plein dans la différence quasi-binaire et non biaisée homme-machine.
Une des raisons selon moi qui fait qu'il ne pourra jamais avoir de conscience c'est l'impossibilité chez lui de symbolisation de ce que signifie le terme "savoir", ce terme faisant de longs débats depuis l'Antiquité.
allez lui expliquer "je sais que je ne sais rien", phrase proclamée depuis Socrate -le premier philosophe- et ensuite Descartes et Montaigne jusqu'à Jean Gabin qui en a fait une chanson.

Pour des scientifiques, cette phrase est absolument évidente mais pas que...
J'irais jusqu'à dire qu'elle fait partie de la condition humaine mais comme l'IA ne sait pas ce que c'est la condition humaine...

Ah, ah, ah, tu m'as bien fait rire, même ici (sur le forum), il y a des intervenants qui ne savent pas (admettre) ne pas savoir...

Et quand ils continuent sur des sujets dont ils n'ont pas le début de la maîtrise, ils "hallucinent" comme chatgpt en affirmant qu'on viole les lois fondamentales de la physique ou de la thermodynamique sur un sujet pourtant assez simple (genre un char à voile peut-il aller vent dans le dos plus vite que le vent).

Donc la "différence quasi-binaire et non biaisée homme-machine"... comment dire...

Sauf erreur de ma part, les chatbot extrapolent leurs réponses avec des "poids de plausibilité", donc, l'interface de sortie pourrait sans doute "juste" utiliser ces poids pour évaluer le niveau de "savoir" de la réponse et choisir de dire "mi sé pa".
Mais c'est moins fun, une machine qui n'a pas réponse à tout (même si cette réponse est fausse). En plus, ça en amuse quand même pas mal...
(allez, une petite IA pour faire le taf, il y en a déjà pour filtrer en entrée, et sans doute en sortie aussi)

[JPL]

titijoy3, depuis 2012 tu n’as pas appris à utiliser la balise Quote ? Pense aux daltoniens (dyschromatopsique).

[oualos]

Sauf erreur de ma part, les chatbot extrapolent leurs réponses avec des "poids de plausibilité", donc, l'interface de sortie pourrait sans doute "juste" utiliser ces poids pour évaluer le niveau de "savoir" de la réponse et choisir de dire "mi sé pa".

je ne sais pas ce que signifie -du moins intuitivement- et comment fonctionnent ces "poids de plausibilité" mais ça fait plus penser dans le fonctionnement et le but à un système expert qu'à une IA avec réseaux de neurones.
Même si ça se traduit par une correction de poids à la fin et donc qu'on se sert toujours de réseaux de neurones pour évaluer une plausibilité...
Ça me semblait bien ça: que des systèmes experts figurent peut-être sous une forme ou une autre quelque part dans la boite noire d'où sort la réponse.
Il n'y a pas de degré de vérité d'une affirmation mais un degré de plausibilité, ce qui s'en rapproche.
inutile de dire quelque dans le détail ce doit être une machine extrêmement compliquée et qu'il a du falloir des années et de brillants ingénieurs du MIT et de Harvard pour la mettre au point.

[sunyata]

Les spécialistes savent très bien que l'idée d'une IA qui "prendrait le pouvoir" et ferait une suite d'actions logiques pour contrôler le monde est totalement fantasmatique et que les IA n'ont aucune "connaissance globale" du monde réel qui leur permette de vivre dans un monde réel

C'est vrai aujourd'hui, mais demain ?
L'avenir de l'IA, ce sont les IA autonomes. C'est IA seront capables d'élaborer des stratégie complexes pour arriver au résultat désiré.

Quel type d'IA est l'intelligence artificielle autonome? L'intelligence artificielle autonome est une avancée dans la technologie actuelle de l'IA, même si l'IA ne peut pas développer une conscience de son environnement ou d'elle-même comme le font les humains. En d'autres termes, l'intelligence artificielle autonome est capable de prendre des décisions sur la base d'une large représentation des différents scénarios dans lesquels des situations ou des urgences peuvent se produire. Sur cette base, l'IA autonome orchestre les différentes technologies à sa disposition pour résoudre un problème, et utilise les plus pertinentes à sa discrétion et de manière autonome, en fonction de paramètres définis par l'homme.

Comme cela a des applications militaires on peut penser que cela va se développer très rapidement.

[titijoy3]

titijoy3, depuis 2012 tu n’as pas appris à utiliser la balise Quote ? Pense aux daltoniens (dyschromatopsique).

désolé, je ne pensais pas que ça puisse poser problème !

[Liet Kynes]

Cela veut surtout dire que les IA ne sont pas programmées et qu'il n'y a pas de programmeurs derrière en train de coder les "différents cas" comme pour un programme classique.
Une IA n'a absolument rien à voir avec ça : elle apprend à partir des données qu'on lui donne. C'est ce qui fait sa force : elles sont capables de faire des choses qui sont inaccessibles à la programmation classique ou du tout moins largement mieux. C'est aussi leur faiblesse : on ne peut pas en attendre le même degré de rigueur et de reproductibilité. En tout cas pour le moment.

Le truc est quand même dans le fait que l'on sait estimer le degré: IA fiable à 75% VS humain fiable à 50% le choix est vite fait même si dans la part de non-fiabilité de l'IA certains résultats seraient au bout du côté droit de la courbe de GAUSSE de fiabilité des humains : c'est d'ailleurs cela qui génère les fils de discussions visant à rassurer les personnes désarçonnées par cette révolution technologique.

[Bounoume]

C'est vrai aujourd'hui, mais demain ?
L'avenir de l'IA, ce sont les IA autonomes. C'est IA seront capables d'élaborer des stratégie complexes pour arriver au résultat désiré.
Comme cela a des applications militaires on peut penser que cela va se développer très rapidement.

pour un humain, cette élaboration passe par un stade d'inférences logiques à partir de propositions exprimées en langage naturel, mais contenant en fait des opérateurs, des symboles, des concepts identifiables....
d'après ce que je sais, les 'IA' qui manipulent le langage, les images.. etc sont dépourvues de ces mécanismes explicites.....

les implémenteront-elles bientôt?
sans recours à cela (et à la réflexivité conduisant à l'examen itératif des résultats précédent pour avancer dans la progression vers le résultat escompté) est-ce que ces systèmes parviendront quand même à élaborer des stratégies, à en évaluer les résultats intermédiaires et à choisir la stratégie 'optimum'

ou alors est-ce que ce résultat peut émerger 'tout seul' d'un simple perfectionnement des méthodes actuelles?
Cette émergence que les étapes que la pensée humaine doit suivre ne soient ni suivies, ni identifiables ni exprimables à priori pendant le parcours du chemin ????
(justifier à postériori, c'est autre chose, comme dans les 2 systèmes de Kahneman...)

[pm42]

les implémenteront-elles bientôt?

C'est déjà fait.

L'ironie de cette discussion est que l'on reproche aux IAs de "ne pas savoir qu'elles ne savent pas" et de "ne pas citer leurs sources" mais beaucoup d'affirmations ici sont faites sans aucune source par des humains qui clairement ne savent pas qu'ils ne savent pas.
Mais qui vont continuer à parler même quand on leur dit.

[Archi3]

heureusement c'est compensé quand même par la présence de certains forumeurs qui ont des contributions bien supérieures à ce que pourrait donner une IA !

[Liet Kynes]

heureusement c'est compensé quand même par la présence de certains forumeurs qui ont des contributions bien supérieures à ce que pourrait donner une IA !

Cela ne veut rien dire ce que tu dis: cf mon post #76

[Archi3]

ah bon tu veux dire qu'aucun forumeur ici n'atteint la qualité d'une IA ?

ah ben mince alors.

[oualos]

Le truc est quand même dans le fait que l'on sait estimer le degré: IA fiable à 75% VS humain fiable à 50% le choix est vite fait même si dans la part de non-fiabilité de l'IA certains résultats seraient au bout du côté droit de la courbe de GAUSSE de fiabilité des humains : c'est d'ailleurs cela qui génère les fils de discussions visant à rassurer les personnes désarçonnées par cette révolution technologique.

D'où tu tires ces chiffres ? Ça a l'air d'une estimation à la va-vite et personnelle ce qui n'est pas vraiment scientifique comme démarche.

Ce qui est drôle c'est qu'au début du siècle le fordisme était présentée comme la doctrine-clé du progrès: son but était d'arriver à faire travailler un humain comme une machine en augmentant les cadences, en établissant des chaines un peu partout dans l'industrie. Tout le monde connaît Les Temps Modernes de Chaplin qui a marqué l'histoire, en tout cas celle du cinéma...
maintenant on dirait bien qu'en un siècle la situation s'est complètement renversée: on se demande si la machine ressemblera un jour aux humains, avec de nouvelles inquiétudes et questions que cela peut comporter sur l'avenir.
Et la machine fera de plus en plus le travail de l'homme surtout dans ce qu'on appelle le travail immatériel comme écrire des articles, faire des présentations, écrire des livres, faire de la pédagogie, enseigner etc.
Finalement c'est ça le progrès YOUPIIE!

[Liet Kynes]

ah bon tu veux dire qu'aucun forumeur ici n'atteint la qualité d'une IA ?

ah ben mince alors.

Je dis que si le degré de fiabilité d'une IA est mesuré à 75% sur un item et que celui de l'humain est de 50% le choix de l'IA sera le plus raisonnable même si l'IA répond à côté alors que l'humain non.
Après si tu ne comprends pas cela, c'est ton problème, ton avenir va être jalonné d'incompréhensions. Imageons un contrôle qualité pour la fabrication de billes (pour jouer) une liste de critères d'évaluations pour éliminer les billes commercialement non acceptable : l'IA détecte 75% des billes à éliminer et l'humain 50 % mais l'humain détecte parmi les critères d'élimination 75% des billes fêlées et l'IA 50%, s'il y a 10 critères d'élimination et l'humain n'est le plus fort qu'uniquement sur "billes fêlées" qui embauche tu pour trier les billes? Les billes fêlées étant évidentes à repérer pour n'importe quel humain.

[pm42]

Dans le cas de ce fil, un simple moteur de recherche est plus pertinent qu'un grand nombre de contributions qui confondent programmation et entrainement, IA en général avec "ChatGPT mal utilisé", parlent de problèmes déjà réglés comme s'ils existaient encore...

C'est le cas de tous les fils sur les sujets "sociaux" c'est à dire qui apparaissent dans la presse grand public : Covid, IA, changement climatique : les discussions sont massivement du "je crois que basé sur ce que je n'ai pas compris sur le peu que j'ai lu dans le journal".

[Liet Kynes]

Dans le cas de ce fil, un simple moteur de recherche est plus pertinent qu'un grand nombre de contributions qui confondent programmation et entrainement, IA en général avec "ChatGPT mal utilisé", parlent de problèmes déjà réglés comme s'ils existaient encore...

C'est le cas de tous les fils sur les sujets "sociaux" c'est à dire qui apparaissent dans la presse grand public : Covid, IA, changement climatique : les discussions sont massivement du "je crois que basé sur ce que je n'ai pas compris sur le peu que j'ai lu dans le journal".

C'est déplorable, d'autant que le contexte est dans une accélération impressionnante des applications liées à l'IA; une véritable éruption volcanique pour laquelle on n'a aucune idée du relief du paysage qui va se dessiner. l'humanité a toujours été confrontée aux changements qu'elle initiait elle-même au travers des découvertes scientifiques, sur ce coup un développement l'envoie dans l'impression (remise en cause) d'avoir toujours eu la main sur son évolution.. Un peu d'humilité et beaucoup moins de peurs ne lu ferait pas de mal mais c'est une dérive philo qui aboutie sur les valeurs fondamentales, donc j'arrête là.

[oualos]

Je dis que si le degré de fiabilité d'une IA est mesuré à 75% sur un item et que celui de l'humain est de 50% le choix de l'IA sera le plus raisonnable même si l'IA répond à côté alors que l'humain non.
Après si tu ne comprends pas cela, c'est ton problème

Ça sort d'où ces chiffres ? De Télérama ou Pif gadget ?

[Archi3]

Je dis que si le degré de fiabilité d'une IA est mesuré à 75% sur un item et que celui de l'humain est de 50% le choix de l'IA sera le plus raisonnable même si l'IA répond à côté alors que l'humain non.

en général, le degré de fiabilité dépend beaucoup de à quel humain tu t'adresses ...

[oualos]

en général, le degré de fiabilité dépend beaucoup de à quel humain tu t'adresses ...

tu as découvert ça tout seul ?
quand on sort des chiffres sociologiques ou pseudo-sociologiques on justifie ça par une étude statistique séreuse qui a été effectuée.
On balance pas des chiffres n'importe comment. Surtout sur un forum scientifique...
Je m'étonne que ce point d'ailleurs ne soit pas dans la charte: c'est limite fake news ça!

Par exemple si on pose la question à un humain et à une machine "faut-il déclencher une troisième guerre mondiale?", la machine dira que non à 75% et un humain sur deux dira que oui ???

[Archi3]

euh c'est pas moi qui ai balancé ces chiffres, c'est Liet Kynes .

[oualos]

heu exact srry j'aurais du le préciser