Concepteurs d'IA : Pompiers pyromanes ? Je ne comprends pas...

[yves95210]

Donc dans la phrase citée, il ne s'agit pas de l'extinction de l'humanité...merci de la précision, parce que pour le lecteur lambda ce n'est pas clair du tout.

edit ; il aurait pu s'agir de l'extinction de notre civilisation aussi...sans autre précision c'est également une interprétation possible.

Mais quand dans le texte de la pétition (une seule phrase...), ses promoteurs parlent de risque d'extinction en le mettant sur le même plan que d'autres risques à l'échelle de la société tels qu'une pandémie ou une guerre nucléaire, il semble que c'est bien ça qu'ils ont à esprit.

Impression renforcée par la lecture de leur page "AI Risk", et en particulier des points que j'ai mis en exergue : en plus du point 1 (weaponisation), ils expliquent que
(3) des IA peuvent trouver de nouveaux moyens de poursuivre leurs objectifs aux dépens des valeurs individuelles ou sociétales [qu'elles sont censées respecter],
(6) de nouveaux objectifs [non prévus par leurs concepteurs] pourraient émerger spontanément à mesure qu'elles acquièrent des compétences,
(7) la tromperie [sur ce que fait une IA, et pourquoi] pourrait faire partie des moyens permettant d'atteindre ces objectifs,
(8) les objectifs pour lesquels elles sont ou seront conçues [qu'ils soient ou non malveillants] pourraient constituer une incitation à acquérir plus de pouvoir, ce qui les rendrait plus difficile à contrôler.
-----

[sunyata]

pour éteindre l'espèce humaine, il faut faire mourir plus de 8 milliards d'individus. Les seules choses efficaces pour ça sont les priver de nourriture, d'eau, ou un virus mortel, et encore pour les deux premiers ça prend un certain temps. Je ne vois pas très bien comment une IA pourrait arriver à ce résultat....donc faut arrêter de délirer. Il y a certes des problèmes potentiels liés à la généralisation des IA, comme il y en a liés à la généralisation des téléphones portables ou des réseaux sociaux. Mais ça n'empêche pas l'humanité de vivre.

60 % de 8 milliards d'individus incompétents et désœuvrés, cela pourrait devenir très problématique, sachant que la compétence détermine la clef de répartition de la richesse produite et que les chefs d'entreprise n'ont pas vocation à être des philanthropes.

Enfeeblement
Enfeeblement can occur if important tasks are increasingly delegated to machines; in this situation, humanity loses the ability to self-govern and becomes completely dependent on machines, similar to the scenario portrayed in the film WALL-E.

On me rétorquera que ce risque existe-déjà depuis l'invention de l'écriture, et depuis l'utilisation des machines.
Je ne sais pas si ce type d'argument est valable.
Les primates, et les corbeaux, et certains insectes utilisent l'outil, mais est-ce comparable ?

Non car l'humain utilise des outils pour concevoir d'autres outils, on est pas dans le même registre.

L'IA et ce qu'elle pourrait devenir, me semble poser un problème d'échelle, de magnitude, de puissance d'action.

[pm42]

La déclaration des 350 personnes est juste une phrase, et de ce que j'ai lu volontairement vague.
L'interpréter sur la base du site du Center for AI Safety est risqué.

Il vaut mieux reprendre l'ensemble de ce qui a été dit par les différents intervenants ces derniers mois et qui est d'ailleurs nuancé et pas homogène.

[yves95210]

La déclaration des 350 personnes est juste une phrase, et de ce que j'ai lu volontairement vague.
L'interpréter sur la base du site du Center for AI Safety est risqué.

Mais c'est (exclusivement ?) sur ce site que figure la liste des signataires, et qu'on peut signer la "pétition" (aussi alarmante que volontairement vague). Donc je suppose qu'ils assument plus ou moins l'analyse des risques de l'IA qui figure également sur ce site. Ce n'est pas complètement anodin pour un scientifique (du domaine) ou un dirigeant d'entreprise (également du domaine) de signer une pétition parlant d'un risque d'extinction...

Il vaut mieux reprendre l'ensemble de ce qui a été dit par les différents intervenants ces derniers mois et qui est d'ailleurs nuancé et pas homogène.

Tellement de choses ont été dites par tellement d'intervenants (dont un pékin lambda comme moi, n'a aucun moyen de juger de la crédibilité) qu'il est impossible de s'y retrouver quand on n'est pas expert du domaine ou au moins quand on ne suit pas de près son actualité.

[noureddine2]

La question est que ce "pouvoir juste" reste une utopie bien que depuis Platon et avant lui on ait essayé d'y remédier comme lorsque Platon a proposé à un tyran grec que ce soit des philosophes qui dirigent... Et ça a mal fini.

peux tu donner un lien qui parle de cette histoire ?

[pm42]

Mais c'est (exclusivement ?) sur ce site que figure la liste des signataires, et qu'on peut signer la "pétition" (aussi alarmante que volontairement vague).

Oui mais on peut aussi lire leurs autres déclarations récentes.

Donc je suppose qu'ils assument plus ou moins l'analyse des risques de l'IA qui figure également sur ce site.

C'est une supposition et sans doute pas la pire mais elle a ses limites.

Ce n'est pas complètement anodin pour un scientifique (du domaine) ou un dirigeant d'entreprise (également du domaine) de signer une pétition parlant d'un risque d'extinction...

Oui mais ils peuvent tous avoir des raisons différentes : y croire vraiment, ou ne pas vouloir se distinguer, ou donner l'impression qu'ils sont préoccupés par les risques pour des raisons politiques/médiatiques, vouloir qu'on se concentre sur des risques importants/long terme et assez abstraits pour détourner l'attention des risques plus immédiats sur la désinformation, etc ce que leur reprochent certaines ONG...

Je ne pense pas que les 350 signataires aient tous la même pensée et les mêmes motivations.

Tellement de choses ont été dites par tellement d'intervenants (dont un pékin lambda comme moi, n'a aucun moyen de juger de la crédibilité) qu'il est impossible de s'y retrouver quand on n'est pas expert du domaine ou au moins quand on ne suit pas de près son actualité.

C'est ce que je pense aussi. Ceci dit, les risques sont largement moins un sujet de préoccupation chez les experts que dans la presse grand public qui semble n'être capable de parler que de ça.

Actuellement, on ne peut pas vraiment les évaluer tellement il y a de scénarios possibles. Vouloir anticiper et éviter les erreurs du passé est une bonne idée mais on peut se demander si ce n'est pas trop tôt et si une partie de l'industrie ne préfère pas donner l'image de gens responsables et préoccupé par des risques auxquels ils ne croient qu'à moitié pour rassurer vu la quasi hystérie sur le sujet.

[oualos]

peux tu donner un lien qui parle de cette histoire ?

En fait c'est pas tout à fait exact: Platon a adjoint au tyran un philosophe qui devait le guider et le conseiller et c'est cela qui a mal fini. Je crois qu'il s'agissait de Denys le Tyran mais je suis pas sûr...
Je vais faire des recherches. Je l'ai vu sur un forum de philo et aussi repris sur plusieurs sites
il est probable que soit Platon lui-même, soit des philosophes grecs postérieurs ou des historiens qui aient parlé de cela.
Mais je suis sûr de l'avoir vu dans plusieurs endroits peut-être même sur WiKI....

[Bounoume]

je reprends un élément de la liste

What is AI risk?
1. Weaponization
2. Misinformation
3. Proxy Gaming
4. Enfeeblement
5. Value Lock-in
6. Emergent Goals
7. Deception
8. Power-Seeking Behavior

la perte des connaissances et des savoirs essentiels (à la science, à la technologie..... donc à la persistance d'une société dite 'modrene') et mort des organisations humaines les mettant en oeuvre**......

4. Enfeeblement
Dans ce cas, l'humanité perd sa capacité à s'autogérer et devient totalement dépendante des machines, comme dans le scénario du film WALL-E.

Au fur et à mesure que les systèmes d'IA s'approchent de l'intelligence humaine, de plus en plus d'aspects du travail humain deviendront plus rapides et moins coûteux à accomplir grâce à l'IA. À mesure que le monde s'accélère, les organisations pourraient volontairement céder le contrôle aux systèmes d'IA afin de ne pas se laisser distancer. Une fois que l'IA aura automatisé certains aspects de nombreuses industries, il pourrait être difficile pour les humains déplacés de les réintégrer. Dans ce monde, les humains pourraient avoir peu d'incitations à acquérir des connaissances ou des compétences. Nombreux sont ceux qui considèrent qu'un tel monde n'est pas souhaitable. En outre, l'affaiblissement réduirait le contrôle de l'humanité sur l'avenir, ce qui augmenterait le risque de mauvais résultats à long terme.

Traduit avec www.DeepL.com/Translator (version gratuite)

ils parlent de la dépendance vis à vis des divers systèmes qualifiés d'IA.....
à la limite, perte de connaissances à la survie dans le monde naturel....
et en sous-entendu, je suppose:
si altération ou disparition du système constitué par les AI interdépendantes, faillite irréversible de nos sociétés actuelles......

bien plus inquiétant à terme que le fabrique de deepfakes....
**organisations décisionnelles administratives, techniques, juridiques, financières, etc.... remplacées par ou exécutant servilement des systèmes automatiques dits 'intelligents'.....


PS. par conte la survenue de ll'Apocalypse selon le vieux film 'war games'..... https://fr.wikipedia.org/wiki/Wargames_(film) bôf..... quoique......

[Archi3]

Ceux qui pensent que l'IA pourrait être meilleure que l'humain "dans tous les domaines" (ça a été dit par un participant) ne verront aucun inconvénient à tout confier à des IA, puisque selon eux elle ferait mieux que nous. Et si elle est vraiment meilleure que nous, ils auront raison. Ca devrait avoir comme conséquence que nous serions mieux gérés à tous les points de vue, que la société serait plus juste, plus écologique, plus efficace, etc ....

Et donc à l'inverse ceux qui pensent qu'il y a un danger à le faire, ne pensent pas que l'IA serait meilleure que l'humain dans tous les domaines : ils pensent qu'elles pourraient se tromper, parfois gravement. Par exemple en déclenchant une riposte nucléaire à une fausse attaque qui n'aurait en fait pas existé, ou qu'elle pourrait prendre des mauvaises décisions, de justice, médicale etc ....) : ils identifient les dangers au fait que l'IA ne serait PAS ASSEZ performante et pourrait faire des c...ies qu'un humain n'aurait pas faites. Le danger est donc que les IA ne soient pas aussi performantes que ce qu'on avait imaginé en leur confiant ces décisions : il n'est pas dans le fait que l'IA soit trop développée (parce que plus elle est développée, a priori, moins elle fait d'erreur), mais qu'elle ne soit pas assez développée par rapport à ce qu'on en attend.


Autrement dit ce n'est pas le développement des capacités de l'IA qui est identifié comme un problème, mais la trop grande confiance que nous leur donnons. Les dangers ne sont pas dans les capacités de plus en plus grandes, mais dans la surestimation de ces capacités : une mauvaise IA à qui on a donné plein de pouvoirs de décisions est bien sûr bien plus problématique qu'une très bonne IA à qui on a laissé qu'un nombre très limité de pouvoirs : par exemple quand GPT-4 se met à délirer et menacer de harceler ses contradicteurs, ça fait sourire parce que bien sûr il n'a aucun moyen de faire du mal , de pirater ses comptes en banque, d'envoyer des mails à ses employeurs ou à ses amis, etc...Mais si il avait ces moyens, ça deviendrait un vrai problème.

Donc : les dangers de l'IA ne viennent pas de ses capacités trop grandes, mais de la surestimation de ses capacités par les humains qui pourraient lui laisser des pouvoirs de décisions qu'elle n'a pas la capacité d'assurer.

Question annexe : des différents participants sur ces questions, qui a fait preuve de la plus grande naïveté sur les capacités de l'IA et sur la justesse des réponses des IA conversationnelles ?

[Liet Kynes]

Donc : les dangers de l'IA ne viennent pas de ses capacités trop grandes, mais de la surestimation de ses capacités par les humains qui pourraient lui laisser des pouvoirs de décisions qu'elle n'a pas la capacité d'assurer.

Question annexe : des différents participants sur ces questions, qui a fait preuve de la plus grande naïveté sur les capacités de l'IA et sur la justesse des réponses des IA conversationnelles ?

Quelle habileté ! On en verserai une larme tellement cela sous-entends un combat héroïque dans une croisade pour la vérité, la vraie pas celle que l'on veut nous faire croire

Les règles de contrôle de l'information (pas vérifier l'info mais la dominer) changent avec l'IA et ceux de façon neutre (il n'y a pas de bien ou mal) : il est possible que cet outil empêche certains objectifs communicationnels et le dénigrer est une façon de garder certains équilibres actuels et gagner un peu de temps pour développer les contre-mesures (y compris via l'IA) visant à garder la maitrise du territoire.

[Avatar10]

... et gagner un peu de temps pour développer les contre-mesures (y compris via l'IA) visant à garder la maitrise du territoire.

Comment peut on garder le contrôle par rapport au propriétés émergentes?

[Archi3]

Quelle habileté ! On en verserai une larme tellement cela sous-entends un combat héroïque dans une croisade pour la vérité, la vraie pas celle que l'on veut nous faire croire

je ne vois pas la pertinence de ta réponse, j'ai juste résumé la nature des dangers qui étaient mis en avant y compris des experts de l'IA : en vois tu qui n'appartiennent pas à la catégorie "le danger est de confier à une IA une tâche qu'elle n'est pas capable d'effectuer correctement, ou au moins au niveau où on l'espérait" ? et donc qu'il réside bien dans l'écart entre les capacités imaginées ou "fantasmées" de l'IA, et ses capacités réelles ?

A un tout petit niveau , celle des discussions du forum, les "problèmes" des IA conversationnelles sont tous venus de réponses qui n'étaient pas au niveau de celles attendues, et vos réponses à toi et pm42 ont toujours été "il ne faut pas demander à une IA de faire ce pour quoi elle n'est pas faite", donc ça relève bien de cette catégorie : les problèmes viennent de ce qu'on demande à une IA de faire ce qu' elle n'est pas capable de faire correctement .

[oualos]

peux tu donner un lien qui parle de cette histoire ?

Je livre la réponse de chatGPT: j'ai pas vérifié mais je pense qu'il se trompe pas pour le coup. Je regarderai quand même sur WiKi pour voir s'il n'a pas fait d'erreur.


Question: Platon a proposé à un tyran grec de l'assister avec un philosophe pour l'aider à gouverner. Lequel était-ce ?

ChatGPT:
Platon a proposé d'assister le tyran grec Dionysios Ier de Syracuse avec l'aide du philosophe Dion de Syracuse, également connu sous le nom de Dion de Syracuse le Jeune.
Dion était le neveu de Dionysios et un élève de Platon.
Platon espérait que, grâce à l'influence de la philosophie, il serait possible de gouverner de manière plus juste et plus sage. Malheureusement, cette tentative de Platon n'a pas réussi, et Dion a fini par être exilé par Dionysios.
Plus tard, Dion a réussi à revenir à Syracuse et à renverser Dionysios, mais ses propres efforts pour établir un gouvernement philosophique n'ont pas abouti à un succès durable.

[Archi3]

Je livre la réponse de chatGPT: j'ai pas vérifié mais je pense qu'il se trompe pas pour le coup. Je regarderai quand même sur WiKi pour voir s'il n'a pas fait d'erreur.

si tu n'as pas assez confiance en chatGPT et que tu préfères vérifier, pourquoi tu utilises chatGPT et pas directement un moteur de recherche ?
pour info, j'ai tapé sur google "Platon tyran philosophe" sur google et j'ai eu en deuxième lien : https://www.lefigaro.fr/livres/2007/...philosophe.php qui raconte l'histoire de manière plus complète, plus détaillée et plus vivante (ça a failli très mal se terminer pour Platon ...)

[ThM55]

Pour continuer dans le registre "café du commerce" qui caractérise ces discussions sur l'IA, je vous propose de commenter l'article suivant, que j'ai trouvé très amusant (car il ne s'agissait pas d'un exercice en vrai grandeur, mais d'une simulation):

https://www.theguardian.com/us-news/...simulated-test

Pour résumer, un drone de l'USAF contrôlé par une IA avait pour mission de détruire une cible. Mais l'opérateur humain pouvait interférer et annuler cette destruction pour éviter des dommages collatéraux. Résultat, comme l'opérateur peut empêcher l'IA d'atteindre son objectif, l'IA tue l'opérateur (rassurez-vous, je rappelle que ce n'était qu'une simu). La tour de contrôle réagit et dit à l'IA "non, il ne faut pas tuer ton opérateur, ce n'est pas bien! Tu vas perdre des points si tu fais ça.". Résultat, l'IA détruit la tour de contrôle.

Je ne sais pas si cette histoire est authentique, elle a été rapporté par plusieurs sources qui semblent informées. Mais à la base il me semble qu'il y a un problème de hiérarchisation des objectifs du dispositif, qui entraîne une planification sans doute optimale mais pas vraiment en accord avec les besoins de la défense.

[yves95210]

je ne vois pas la pertinence de ta réponse, j'ai juste résumé la nature des dangers qui étaient mis en avant y compris des experts de l'IA : en vois tu qui n'appartiennent pas à la catégorie "le danger est de confier à une IA une tâche qu'elle n'est pas capable d'effectuer correctement, ou au moins au niveau où on l'espérait" ? et donc qu'il réside bien dans l'écart entre les capacités imaginées ou "fantasmées" de l'IA, et ses capacités réelles ?

Apparemment certains experts de l'IA (les signataires de la pétition à l'origine de ce fil) y voient d'autres dangers, dans un futur plus ou moins proche:

3. Proxy Gaming
Trained with faulty objectives, AI systems could find novel ways to pursue their goals at the expense of individual and societal values.
(...)
6. Emergent Goals
Models demonstrate unexpected, qualitatively different behavior as they become more competent. The sudden emergence of capabilities or goals could increase the risk that people lose control over advanced AI systems.
(...)
7. Deception
We want to understand what powerful AI systems are doing and why they are doing what they are doing. One way to accomplish this is to have the systems themselves accurately report this information. This may be non-trivial however since being deceptive is useful for accomplishing a variety of goals.
(...)
8. Power-Seeking Behavior
Companies and governments have strong economic incentives to create agents that can accomplish a broad set of goals. Such agents have instrumental incentives to acquire power, potentially making them harder to control (Turner et al., 2021, Carlsmith 2021).
(...)

Les risques évoqués ci-dessus ne se résument pas à celui (déjà largement évoqué dans d'autres discussions) de "confier à une IA une tâche qu'elle n'est pas capable d'effectuer correctement, ou au moins au niveau où on l'espérait", mais sont liés à des propriétés émergentes (souhaitées ou non) d'IAs qui échapperaient au contrôle.
Evidemment si on se contente de plaisanter au sujet des hallucinations des agents conversationnels actuels (ou de s'inquiéter de l'influence qu'ils pourraient avoir sur l'évolution de notre société) en supposant qu'ils sont représentatifs de ce dont des IA généralistes(*) seront capables, ces propriétés semblent être fantasmées. Mais jusqu'à quel point le sont-elles ?

(*) couplées évidemment avec d'autres technologies leur donnant les "bras" virtuels (les moyens d'action) dont les "simples" modèles de langage ne disposent pas, mais dont devra disposer une IA conçue par exemple pour lutter de manière autonome contre des cyberattaques (ce qui suppose de la doter de la capacité d'administrer des serveurs et des équipements de réseau, d'une "motivation" à assurer sa propre survie et pour cela d'une connaissance de l'architecture matérielle et logicielle sur laquelle elle repose) ou une IA conçue pour piloter un système d'armes.

[pm42]

Apparemment certains experts de l'IA (les signataires de la pétition à l'origine de ce fil) y voient d'autres dangers, dans un futur plus ou moins proche

Oui. Certains se posent la question de ce qui peut arriver si on crée une IA forte largement plus intelligente que nous.
Ils ne disent pas que ça va arriver ou du moins pas quand mais font remarquer que cela pose pas mal de questions.

Et ils considèrent qu'il faut y penser en avance.

Evidemment si on se contente de plaisanter au sujet des hallucinations des agents conversationnels actuels (ou de s'inquiéter de l'influence qu'ils pourraient avoir sur l'évolution de notre société) en supposant qu'ils sont représentatifs de ce dont des IA généralistes(*) seront capables, ces propriétés semblent être fantasmées. Mais jusqu'à quel point le sont-elles ?

C'est en effet une attitude étonnant parce que quand on voit les progrès très rapides de l'IA ces dernières années, se fixer sur un problème par ailleurs anecdotique et qui semble plus préoccupé ici que dans le monde de la recherche ou des vraies utilisateurs et en supposant qu'il va persister n'est pas rationnel.

J'ai aussi le souvenir d'un étudiant physicien racontant qu'il s'était entendu expliquer au milieu des années 30 par un professeur réputé que "l'énergie nucléaire n'est qu'une constante d'intégration dans les équations" et que très peu de personnes prenaient le sujet au sérieux en dehors des scientifiques de pointe.

Il est certain que FS n'est pas l'endroit où les prévisions sur "ce qui va arriver demain dans le domaine et quels sont les risques associés" sont au top.

[Archi3]

Les risques évoqués ci-dessus ne se résument pas à celui (déjà largement évoqué dans d'autres discussions) de "confier à une IA une tâche qu'elle n'est pas capable d'effectuer correctement, ou au moins au niveau où on l'espérait", mais sont liés à des propriétés émergentes (souhaitées ou non) d'IAs qui échapperaient au contrôle.

bah oui mais je rappelle quand même que quels que soient les capacités d'une IA, ce n'est au départ que des processeurs constitués de bits 0 et 1 sur une plaquette de silicium. C'est juste ça. Elles n'ont pas de muscles, pas d'armes, pas de capacité d'attaquer nos défenses immunitaires, de détruire des installations, rien de tout ça. Et regarder une plaquette de silicium, ça n'a jamais fait de mal à personne à ma connaissance.

Donc le problème ne se pose QUE si on l'interface avec des moyens physiques qui lui permettent une action sur le monde réel. C'est très différent d'un virus ou d'une pollution qui peut se répandre dans le monde sans qu'on ait les moyens d'y faire face. ChatGPT est réduit au silence si on le déconnecte d'internet, et ça revient juste à débrancher un certain nombre de prises électriques. Il faut quand même se rappeler ça quand on discute de tous ces problèmes : il n'y a aucun danger provenant de l'IA qui ne soit lié au fait qu'on l'ait VOLONTAIREMENT doté de moyens d'actions sur le monde réel. Explique moi comment ton ordinateur peut t'empêcher de le débrancher ?

[yves95210]

Oui. Certains se posent la question de ce qui peut arriver si on crée une IA forte largement plus intelligente que nous.
Ils ne disent pas que ça va arriver ou du moins pas quand mais font remarquer que cela pose pas mal de questions.

A cet égard, que penses-tu des arguments (et des références) présentés sur le site Center for AI Safety ?

NB : je peux me tromper, mais il me semble que certains des risques évoqués peuvent exister même sans qu'il s'agisse d'une "IA forte" (cf. par exemple l'anecdote rapportée par ThM55, qui semble plausible même si elle n'est pas confirmée). Sans-doute pas à grande échelle (et certainement pas jusqu'à risquer une extinction), mais avec quand-même des conséquences autres que purement psychologiques ou sociologiques.

[pm42]

A cet égard, que penses-tu des arguments (et des références) présentés sur le site Center for AI Safety ?

C'est pas mal.

NB : je peux me tromper, mais il me semble que certains des risques évoqués peuvent exister même sans qu'il s'agisse d'une "IA forte"

Clairement. En fait les risques couvrent un vaste spectre depuis "les gens qui s'informent sur les réseaux sociaux et gobent n'importe quoi vont être encore plus dans les faits alternatifs" jusqu'à "une guerre mondiale se déclenche à cause de IAs" et autres variantes dignes de Terminator.

Mais il est très difficile de les évaluer actuellement et beaucoup de discours sur le sujet sont massivement dictés par des biais : supposer que le futur sera à l'image du passé par exemple, ou faire des scénarios "toutes choses étant égales par ailleurs" sous estimant la capacité d'adaptation de l'humanité et les présenter comme inéluctables...

D'où l'intérêt d'avoir des structures où les débats auraient lieu et où les règles seraient proposées pour éviter le coté "on fonce et on verra bien" ou pire "on décide sur des bases émotionnelles dictées par les articles à sensation de la presse".

EDIT : et il y a un "risque" qui n'en est pas un mais une certitude. De nombreux métiers vont être profondément impacté et il va falloir s'adapter. Cela n'a rien de nouveau mais cela peut provoquer des réactions sociales brutales.

[yves95210]

Donc le problème ne se pose QUE si on l'interface avec des moyens physiques qui lui permettent une action sur le monde réel. C'est très différent d'un virus ou d'une pollution qui peut se répandre dans le monde sans qu'on ait les moyens d'y faire face. ChatGPT est réduit au silence si on le déconnecte d'internet, et ça revient juste à débrancher un certain nombre de prises électriques. Il faut quand même se rappeler ça quand on discute de tous ces problèmes : il n'y a aucun danger provenant de l'IA qui ne soit lié au fait qu'on l'ait VOLONTAIREMENT doté de moyens d'actions sur le monde réel.

Evidemment, mais quand on parle d'IA capables de piloter un système d'armes (même à vocation purement "défensive") ou de gérer (ou lutter contre) des cyberattaques, elles ont justement dotées de ces moyens d'action - et d'une certaine représentation du monde (même si limitée et biaisée).

Explique moi comment ton ordinateur peut t'empêcher de le débrancher ?

Explique-moi comment tu pourrais empêcher une IA "motivée" (pour des raisons propres à sa mission) par sa propre survie et ayant des capacité d'administration du réseau et des serveurs (pour lutter contre les cyberattaques) de se cloner en s'installant sur d'autres ordinateurs (si des pirates informatiques humains sont capables d'installer à ton insu un programme sur ton ordinateur, une IA en sera tout aussi capable, et probablement plus efficacement) ?

Dans ce cas ce n'est pas qu'un ordinateur qu'il faudrait débrancher...

[Archi3]

L'anecdote rapportée par ThM55 entre dans ce cas de figure : c'était une simulation virtuelle donc "nobody was harmed", bien évidemment, tout s'est passé dans un monde virtuel. Le vrai danger est évidemment si on lui confie la gestion de véritables armes. Et une IA qui échappe au contrôle de son utilisateur, c'est bien une IA qui ne fait pas ce qu'on attendait d'elle.

L'augmentation des capacités de l'IA n'est un danger que indirectement, par le fait qu'elle augmente la confiance que les humains ont dans ces capacités et que du coup, ils peuvent lui confier des tâches de plus en plus complexes et de plus en plus sensibles; à cet égard, e qui s'est passé avec les discussions sur chatGPT, tout en étant un "toy model" ayant un impact négligeable sur la réalité, ont bien illustré ce danger : c'est parce que chatGPT faisait des phrases cohérentes qui sonnaient très bien qu'on s'est instinctivement mis à penser que si il disait un truc , ça devait etre juste, et qu'à plusieurs occasions, certains ont cru à la véracité de ses liens internet, de ses multiplications, de ses compressions de données, etc .... Et beaucoup de gens sont tombés dans le panneau (toi et moi y compris, ce n'est pas pour dire que j'ai été sans reproche sur ce point, j'ai eu aussi parfois tendance à trop croire ce qu'il disait, avant de réaliser que c'était un problème ).

[Avatar10]

bah oui mais je rappelle quand même que quels que soient les capacités d'une IA, ce n'est au départ que des processeurs constitués de bits 0 et 1 sur une plaquette de silicium. C'est juste ça. Elles n'ont pas de muscles, pas d'armes, pas de capacité d'attaquer nos défenses immunitaires, de détruire des installations, rien de tout ça. Et regarder une plaquette de silicium, ça n'a jamais fait de mal à personne à ma connaissance.

Donc le problème ne se pose QUE si on l'interface avec des moyens physiques qui lui permettent une action sur le monde réel. C'est très différent d'un virus ou d'une pollution qui peut se répandre dans le monde sans qu'on ait les moyens d'y faire face. ChatGPT est réduit au silence si on le déconnecte d'internet, et ça revient juste à débrancher un certain nombre de prises électriques. Il faut quand même se rappeler ça quand on discute de tous ces problèmes : il n'y a aucun danger provenant de l'IA qui ne soit lié au fait qu'on l'ait VOLONTAIREMENT doté de moyens d'actions sur le monde réel. Explique moi comment ton ordinateur peut t'empêcher de le débrancher ?

Sans faire de la SF (quoique...) pas besoin d'interface physique (même si l'ex de ThM55 il y en a une, toute automatisée), une IA qui serait affectée à des activités boursières pourrait faire un crack boursier mondial.
Comment contrôler une IA qui, par propriétés émergentes, deviendrait un hacker malveillant le plus efficace?

Pas vu le post d'Yves, ça fait doublon...

[Archi3]

Explique-moi comment tu pourrais empêcher une IA "motivée" (pour des raisons propres à sa mission) par sa propre survie et ayant des capacité d'administration du réseau et des serveurs (pour lutter contre les cyberattaques) de se cloner en s'installant sur d'autres ordinateurs (si des pirates informatiques humains sont capables d'installer à ton insu un programme sur ton ordinateur, une IA en sera tout aussi capable, et probablement plus efficacement) ?

Dans ce cas ce n'est pas qu'un ordinateur qu'il faudrait débrancher...

justement y a pas besoin d'être une IA évoluée pour ça, un virus complètement idiot fait ça très bien ...

[pm42]

et d'une certaine représentation du monde (même si limitée et biaisée).

Pour la représentation du monde je pense que j'ai déjà donné ces liens :

https://arxiv.org/pdf/2303.12712.pdf
https://www.nytimes.com/2023/05/16/t...reasoning.html

et le débat que cela a engendré. Quand on est capable de dire comment empiler des objets efficacement pour résoudre un problème, est qu'on n'a "aucune représentation du monde" comme cela est répété ici souvent ?
Ce n'est pas si clair pour la communauté scientifique.

Dans ce cas ce n'est pas qu'un ordinateur qu'il faudrait débrancher...

C'est surtout une curieuse vision du monde de l'informatique qui me semble dater des calculatrices programmables et des ZX-81.
Les IAs sont pratiquement toutes dans le Cloud, ont accès au Net et si l'une d'elle était "dangereuse", elle n'aurait pas spécialement de difficulté à se rendre indébranchable.

Il suffit de voir comment il est difficile déjà de lutter contre les virus, worms, botnets, bref tous les softs ayant des capacités même très limitées d'autoréplication pour se rendre compte que face à une IA qui serait aussi intelligente qu'un humain ou plus, ce serait impossible.

[Avatar10]

justement y a pas besoin d'être une IA évoluée pour ça, un virus complètement idiot fait ça très bien ...

Un virus a une action restreinte, celle pour laquelle il a été programmé, une IA apprends donc se perfectionne, là où on peut avoir une action sur un virus (le contrer) risque d'être difficile pour une IA à "propriétés émergentes" délétères pour nous.

[pm42]

une IA apprends donc se perfectionne

Ce n'est pas du tout le cas pour les IAs actuelles toutefois. On leur apprend et une fois que c'est fait, elles sont figées.
Une IA qui serait capable d'apprendre par elle même et de se perfectionner n'est pas encore atteignable et on ne sait pas ce qui se passerait.

C'est le fameux problème de la singularité : https://fr.wikipedia.org/wiki/Singularité_technologique

[pm42]

Tiens, je viens d'y penser (trop tard pour éditer) : une IA militaire serait sans doute conçue aussi pour résister d'elle-même aux cyberattaques donc le coté "il suffit de la débrancher" serait sans doute encore plus compliqué.

[ArchoZaure]

Tiens, je viens d'y penser (trop tard pour éditer) : une IA militaire serait sans doute conçue aussi pour résister d'elle-même aux cyberattaques donc le coté "il suffit de la débrancher" serait sans doute encore plus compliqué.

Yakafokon ?

[Avatar10]

Ce n'est pas du tout le cas pour les IAs actuelles toutefois. On leur apprend et une fois que c'est fait, elles sont figées.

Oui, j'étais resté sur l'idée de propriétés émergentes des futures IAG...
Donc tant qu'on en est pas là, ça va, dans le sens où il faut quand même éduquer la population à cet outil (dans les conversations que j'ai dans la vraie vie, Chatgpt, c'est l'oracle...), et cela n'empêche pas de penser à comment se prémunir d'effets qui pourraient nous être catastrophiques quand adviendra l'IAG. Donc pas de pompiers pyromanes, juste des gens du domaine quifont une espèce de "prévention" adroitement ou pas c'est un autre sujet.