théories sur le danger supposé des intelligences artificielles

[nicobzz]

Bonjour,

Etant interessé par l'informatique, et peut être un peu parano... J'ai toujours pensé qu'un jour l'intelligence artificielle représenterait un danger, même si peut être on trouvera un moyen pour éviter une catastrophe.

Je voulais exposer mes idées et en discuter sur pourquoi je pense que les IA peuvent représenter un danger, même si les robots suffisament performant pour faire des taches semblables aux hommes n'existent pas.

J'ai regardé un peu le thread http://forums.futura-sciences.com/de...un-danger.html.

Si ça interesse des gens de discuter des dangers supposées des IA, j'aimerai ne pas parler de la faisabilité des IA sur cette page, mais si vous voulez sur une autre page.

En fait voila j'expose quelques unes de mes idées:

Si on arrive à créer des IA dans les ordinateurs, si ces IA sont douées pour résoudre des problèmes mathématiques, on peut supposer que ces IA trouveront très facilement les failles de sécurité des software installés sur une bonne partie des ordis de la planète, et pourront utiliser ces failles de sécurité pour se répendre sur beaucoup d'ordinateurs et devenir indélogeable d'internet.


Et arrive une question évidente:
Pourquoi de telles IA existeraient, et là deux réponses:
des terroristes, des hackeur voulant de l'argent, des étant voulant le controle d'internet pourraient menacer de créer et diffuser de telles IA sur le net.
Ou à partir du moment ou une IA existe et qu'elle peut évoluer, il peut arriver qu'il se crée automatiquement une IA cherchant les failles de sécurité des sofware pour se répandre, et si une telle IA se créer elle se répendra sur les ordis.

Voila, j'espère que je serais pas trop inquiétant!

Mais je voulais en discuter pour me faire une idée.
-----

[myoper]

Si on arrive à créer des IA dans les ordinateurs, si ces IA sont douées pour résoudre des problèmes mathématiques, on peut supposer que ces IA trouveront très facilement les failles de sécurité des software installés sur une bonne partie des ordis de la planète, et pourront utiliser ces failles de sécurité pour se répendre sur beaucoup d'ordinateurs et devenir indélogeable d'internet.

Bonjour,

C'est ici, amha, que le raisonnement pèche car outre que la possibilité de résoudre des problèmes mathématiques (une machine a calculer le fait déjà) ne donne pas la possibilité de trouver (détecter) des failles de sécurité (qui est un problème informatique) puis de l'utiliser (de quelle façon et pourquoi ?) cela présuppose, en plus, une volonté consciente (tautologie assumée) de le faire qui n'a pas a voir avec la possibilité de résoudre des problèmes mathématiques (lesquels, tous ? dans quelles conditions, comment et pourquoi ?).

[JPL]

Dans ton hypothèse de départ il faudrait que cette IA ait été programmée :

1. pour se répandre partout ;
2. et en particulier pour rechercher les failles des logiciels sur d'autres ordinateurs.

Asimov, en inventant sa saga des robots avait également inventé des "lois de la robotique". Il paraît donc logique de penser que des concepteurs d'hypothétiques IA imposeraient à celles-ci un certain nombre de barrières logicielles.

Sinon, pour ce que j'ai énuméré en 1) et 2) en beaucoup plus simple c'est ce que font la plupart des virus informatiques, et ce ne sont pas des IA.

[nicobzz]

Ben, ça a pas vraiment d'importance que le fait de trouver les failles de sécurité se représente corresponde au fait de trouver la solution de problèmes mathématiques ou pas...

L'idée c'est que le fait de rechercher les failles de sécurités dans un logiciels se fait par un raisonnement, actuellement réalisable uniquement par les humains, un jour peut être par les intelligences artificielles.

Je donne un exemple de comment une IA pourrait utiliser une faille de sécurité pour se répandre sur d'autres ordinateurs:
supposons qu'il existe une faille de sécurité dans un logiciel de Chat, il suffirait alors à un ordinateur contenant un IA , d'envoyer des messages exploitant cette faille de sécurité sur l'ordinateur cible pour envoyer le programme contenant l'intelligence artificielle... c'est ce qui se passe déjà avec les virus, sauf qu'avec un virus, si on corrige la faille de sécurité, le virus est bloqué.Tandis qu'avec l'intelligence artificielle, si on corrige la faille de sécurité, elle peut se débrouiller pour regarder le code source de beaucoup de logiciels utilisé sur internet, trouver de nouvelles failles de sécurité et continuer de se répandre sur d'autres ordis.

Vous comprenez mon idée?

[A voir en vidéo sur Futura]

[nicobzz]

Asimov, en inventant sa saga des robots avait également inventé des "lois de la robotique". Il paraît donc logique de penser que des concepteurs d'hypothétiques IA imposeraient à celles-ci un certain nombre de barrières logicielles.

Si des gens bien veulent créer des IA, pas de problèmes.
Mais si des terroristes ou des hackers voulant gagner de l'argent par la menace voulaiebt faire des IA maléfiques, ils le pourraient, (en supposant que les IA soient faisables et qu'elles puissent exploiter les failles de sécurité)

[invite765732342432]

Je donne un exemple de comment une IA pourrait utiliser une faille de sécurité pour se répandre sur d'autres ordinateurs

La principale faille n'est pas dans les programmes mais dans l'utilisateur: une IA aurait plus vite fait de se propager en se présentant elle-même sous la forme d'un programme gratuit "pour adulte" qu'en cherchant à profiter de failles.

De plus, vu le talent actuel des hackeurs humains, difficile de croire qu'une IA puisse faire beaucoup mieux.

Tandis qu'avec l'intelligence artificielle, si on corrige la faille de sécurité, elle peut se débrouiller pour regarder le code source de beaucoup de logiciels utilisé sur internet, trouver de nouvelles failles de sécurité et continuer de se répandre sur d'autres ordis.

Comme pour les humains.

Mais si des terroristes ou des hackers voulant gagner de l'argent par la menace voulaiebt faire des IA maléfiques

Les gens dont tu parles ont des moyens beaucoup plus ismples et sur de gagner de l'argent. Cette crainte me rappelle ceux qui craignent qu'on pirate l'ISS pour la faire s'écraser ou autres scénarios, certes effrayants, mais tellement plus compliqués et couteux qu'une simple bombe.

Et pour revenir au sujet, en admettant que ce dont tu parles soit possible (cad une IA douée d'un instinct de survie fort et de capacités de raisonnement importantes, le tout sans garde-fou), son intérêt est-il de nuire à l'espèce humaine ?
Si cette IA est nuisible, elle devra affronter un adversaire de poids: l'homme. Et même pire: cet adversaire lui est nécessaire pour survivre (sans homme, pas d'Internet).

Bref, si une telle IA existe, il est probable que son "instinct de survie" la poussera a être extrêmement discrète, voir utile pour l'homme.
Etre nuisible ne serait pour elle qu'un désavantage

[nicobzz]

Tandis qu'avec l'intelligence artificielle, si on corrige la faille de sécurité, elle peut se débrouiller pour regarder le code source de beaucoup de logiciels utilisé sur internet, trouver de nouvelles failles de sécurité et continuer de se répandre sur d'autres ordis.

Comme pour les humains.

Sauf que les hackers humains sont quelques milliers, si les IA envahissent une bonne partie des ordinateurs, ils pourraient être des millions... En supposant que la limite des hackers ne soit pas le nombre de faille de sécurité, mais le temps pour trouver ces failles de sécurité.

Bref, si une telle IA existe, il est probable que son "instinct de survie" la poussera a être extrêmement discrète, voir utile pour l'homme.
Etre nuisible ne serait pour elle qu'un désavantage

Sauf si c'est quelqu'un de malveillant qui a crée cette intelligence, sinon je suis complètement d'accord avec toi, c'est comme dans la théorie de l'évolution: les caractères permettant de mieux se reproduire sont plus présent dans une espèce car les individus portant cette caractéristique se sont plus reproduit.
La question est: est ce un avantage sélectif pour une intelligence se multipliant sur internet que d'être mauvais ou bon envers les humains? D'un coté, les humains aurait intérêt à favoriser la dispersion des IA bienveillantes, tandis que les IA n'hésitant pas à voler les mots de passe de serveur, à exploiter les failles de sécurité diffuserait plus. L'idée alternative, ce serait qu'une IA bienveillante, mais qui ne se générait pas pour pirater le maximum d'ordi sur la planète soit ce qui se diffusera le plus.

[invite765732342432]

Sauf que les hackers humains sont quelques milliers, si les IA envahissent une bonne partie des ordinateurs, ils pourraient être des millions...

Etre des millions mais toutes à peu près semblables... Et qui en plus fasse des études coordonnées de logiciels...

Sauf si c'est quelqu'un de malveillant qui a crée cette intelligence

L'IA dont tu parles est tellement perfectionnée que peu importe la mentalité de son créateur elle saura déterminer ce qui est le mieux pour elle.
Tu ne peux pas supposer une IA supérieurement intelligente d'un coté mais se comportant de manière absurde de l'autre. Il faut choisir.

Et je répète: créer un tel programme n'a aucun intérêt pour quelqu'un de malveillant. Il est beaucoup moins couteux (à tout point de vue: temps, argent, compétences) et beaucoup plus sûr d'utiliser de bon vieux virus ou troyens.

La question est: est ce un avantage sélectif pour une intelligence se multipliant sur internet que d'être mauvais ou bon envers les humains?

La réponse est assez simple: entre avoir un prédateur ou pas de prédateur, quelle solution te semble la plus favorable ?

[JPL]

Disons que pour le moment on raisonne sur une simple hypothèse (genre expérience de pensée) qui n'a aucune chance de se réaliser... disons avant très longtemps (pour rester optimiste).

[invite986312212]

Bref, si une telle IA existe, il est probable que son "instinct de survie" la poussera a être extrêmement discrète, voir utile pour l'homme.
Etre nuisible ne serait pour elle qu'un désavantage

je réagis à cette phrase, parce que c'est ce que la théorie de l'évolution prédit des pathogènes, par exemple des virus (biologiques) : ils n'ont aucun avantage à tuer leur hôte et donc ils devraient évoluer vers moins de virulence. Et pourtant, on observe bien des virus assez nuisibles, et depuis longtemps.

[myoper]

Je ne lis que des "si". Autant postuler que "si" les IA étaient partout, elles seraient partout. Ça fait moins d'hypothèses.

Et pourtant, on observe bien des virus assez nuisibles, et depuis longtemps.

Oui mais ici on parle réellement "d'intelligence" au contraire des pathogènes.

[invite986312212]

bah oui mais si certains pathogènes ne suivent pas le patron d'évolution prédit, c'est que peut-être la prédiction est un peu naïve, et si ça vaut pour la biologie ça pourrait valoir ici aussi. De plus si des IA se répandent dans le monde, on peut penser qu'elles vont être en compétition les unes avec les autres, nous ne serions pas leurs seuls partenaires (ennemis?) et pourrions faire partie de dégâts collatéraux (du moins nos systèmes informatiques, au-delà c'est de la science fiction)

[myoper]

... au-delà c'est de la science fiction

On est au-delà ...

[invite765732342432]

c'est que peut-être la prédiction est un peu naïve, et si ça vaut pour la biologie ça pourrait valoir ici aussi.

Ou alors c'est appliquer aussi strictement la théorie de l'évolution au cas présent qui serait naïf...
Quant-aux virus eux-même, il serait bon de rappeler que leur but n'est pas la destruction de leur hôte. Ce n'est qu'une conséquence malheureuse de leur mode de reproduction, qui présente un certain nombre d'avantages importants.
Je veux bien accepter ta comparaison avec un virus biologique si tu précises quels seraient ces avantages que l'IA ne pourrait tirer que de la nuisance et pas de la discrétion.

[GillesH38a]

faut quand même pas oublier que dans le pire des cas, on peut toujours débrancher un ordinateur ...

[invite765732342432]

faut quand même pas oublier que dans le pire des cas, on peut toujours débrancher un ordinateur ...

J'allais en parler, mais ce n'est pas tout à fait exact: même aujourd'hui, la société aurait bien du mal à s'adapter à l'arrêt brutal des réseaux (et d'Internet en particulier)

La plupart des grosses sociétés ont leurs serveurs très éloignés de leurs centres de gestion, et on ne parle même pas des banques&co.
Même si l'humanité y survivrait évidemment, le sacrifice serait très lourd.

[invite986312212]

faut quand même pas oublier que dans le pire des cas, on peut toujours débrancher un ordinateur ...

comme dans 2001.

encore faut-il se rendre compte que quelque-chose ne va pas.

[nicobzz]

De plus si des IA se répandent dans le monde, on peut penser qu'elles vont être en compétition les unes avec les autres

c'est ce que j'ai pensé aussi, on peut même imaginer des pactes de non agression entre deux groupes d' IA pour mieux lutter contre les autres IA.

Je veux bien accepter ta comparaison avec un virus biologique si tu précises quels seraient ces avantages que l'IA ne pourrait tirer que de la nuisance et pas de la discrétion.

Je pense que les IA n'auraient pas de raison d'être volontairement mauvaises(sauf si programmé ainsi), mais pour se répandre le plus, elles auraient besoin d'utiliser le maximum de puissance de l’ordinateur hôte pour trouver les failles de sécurités ou pour créer des logiciels gratuit comme tu le dis dans ta phrase:

une IA aurait plus vite fait de se propager en se présentant elle-même sous la forme d'un programme gratuit "pour adulte"

A noter que si l'IA n'est pas bête, elle laissera à l'utilisateur la possibilité d'utiliser son ordinateur quand il en aura besoin (arrêter de chercher des solutions pour se répandre en utilisant le processeur), car sinon l'utilisateur s'empresserait de réinstaller le système d'exploitation.

[myoper]

A noter que si l'IA n'est pas bête, ...

J'étais en train de me dire qu'elles étaient très I, ces A et peut être plus que les I non A. Ce qui repose le problème de l'I, A ou pas.
Et qu'est ce qu'I devrait faire si elle était A et qu'elle ne ferait pas si elle n'était pas A tout en restant I, A ou pas mais I.

[invite765732342432]

c'est ce que j'ai pensé aussi, on peut même imaginer des pactes de non agression entre deux groupes d' IA pour mieux lutter contre les autres IA.

Bon, à ce niveau là, on n'est carrément dans un autre monde. Il ne s'agit plus d'IA mais de civilisations à part entière.
Déjà avant, on était dans un sujet hautement improbable, mais là on dépasse la plupart des écrivains de SF.

mais pour se répandre le plus, elles auraient besoin d'utiliser le maximum de puissance de l’ordinateur hôte pour trouver les failles de sécurités ou pour créer des logiciels gratuit comme tu le dis dans ta phrase

Il y a un certain anthropomorphisme dans cette vision: celle du temps qui passe.
Une IA n'a aucune raison de se presser, surtout si cet empressement lui fait des ennemis.

Tu donnes effectivement un contre-argument tout à fait valable dans la suite.

[invite765732342432]

J'étais en train de me dire qu'elles étaient très I, ces A et peut être plus que les I non A. Ce qui repose le problème de l'I, A ou pas.
Et qu'est ce qu'I devrait faire si elle était A et qu'elle ne ferait pas si elle n'était pas A tout en restant I, A ou pas mais I.

joli !

[JPL]

Bon... on est dans la science-fiction. Il te reste à écrire un roman sur ce thème. S'il est bien écrit je pourrais prendre plaisir à le lire comme oeuvre de fiction. Mais ici c'est un forum scientifique et cela me paraît une discussion assez vaine pour ne pas dire franchement hors thématique.

[DomiM]

Un virus doit passer inaperçu donc plus il est petit mieux il survis mais moins il est intelligent !
C'est pour ça qu'on les a pas appelé éléphant

[Amanuensis]

Bon... on est dans la science-fiction. Il te reste à écrire un roman sur ce thème.

Ou lire ceux existant... Par exemple Jane dans Speaker for the Dead, Xenocide, et la suite... (O.S. Card)

Mais

1) Elle n'est pas malveillante (elle a été conçue à l'origine pour aider) ;

2) Elle se copie partout mais reste une : faut pas oublier que dans un réseau les programmes peuvent communiquer à une vitesse telle qu'on peut aisément imaginer une situation où "l'individu" n'est pas ce qui se trouve sur une machine, mais l'ensemble des programmes communiquant.

(Et elle survit la coupure de courant même d'un grand nombre de machines..., c'est couvert dans ces romans )

[GillesH38a]

2) Elle se copie partout mais reste une : faut pas oublier que dans un réseau les programmes peuvent communiquer à une vitesse telle qu'on peut aisément imaginer une situation où "l'individu" n'est pas ce qui se trouve sur une machine, mais l'ensemble des programmes communiquant.

(Et elle survit la coupure de courant même d'un grand nombre de machines..., c'est couvert dans ces romans )

bon, si on n'arrive pas non plus à couper rapidement les moyens de communications, comme certains gouvernement actuellement, c'est effectivement qu'on serait dans un monde très différent du notre . Disons que ça ressort plus de l'argument romanesque que de la théorie scientifique ...

[DomiM]

Nous avons plus à craindre des virus que des tigres ou des requins qui sont pourtant bien plus intelligent mais de fait beaucoup plus voyant et fragile qu'un virus au point qu'il sont en voie d'extinction.
Il y a même plus intelligent que nous comme les éléphants et les dauphins qui même dressés par des humains pour nuire à d'autre humains on vite étaient dépassé par les char d'assaut et les avions de chasse eux même dépassé par le terrorisme, un humain surarmé léger et qui se fond dans la masse comme un virus.
En informatique c'est un hacker, il ne sont pas passé par la case char d'assaut avion de chasse.

[Amanuensis]

bon, si on n'arrive pas non plus à couper rapidement les moyens de communications, comme certains gouvernement actuellement, c'est effectivement qu'on serait dans un monde très différent du notre .

C'est bien ce qu'ils font finalement dans le roman, je te rassure. Couper l'intégralité du réseau, faire nettoyer les ordinateurs et installer un "firewall" drastique entre les ordinateurs et les moyens de communication avant de reconnecter.

Il se trouve qu'il y a assez de dissidents pour ne pas exactement obéir au gouvernement (plus d'autres arguments plus romanesques) pour que cette technique échoue. C'est comme toujours en sécurité : le maillon faible est l'humain...

[nicobzz]

ben oui c'est clair que c'est de la science fiction, ... même si les IA arrivent à exister, c'est fort possible que de nouveaux paramètres qu'on ignore totalement arrivent et change la donne.

Après ça dépend de la sensibilité de chacun d'interpréter si il y a danger ou pas en fonction de paramètres impossible à déterminer actuellement.

En tout cas ça m'interpelle que des auteurs de science fiction aient fait un peu le même scénario, je vais essayer de me renseigner sur ce sujet dont je suis pas mal curieux.

[Partage]

Débat vain qui avait déjà eu lieu ici même, d'ailleurs.

Pour rester dans la sf, je rêverais bien d'une IA rhétorique.
Un bot capable de poster, de débattre, de lancer la controverse.
Une armé de troll qui envahirait les forums, les blogs et les commentaire d'article.
Pour ensuite faire débattre les bot entre eux. Comme ça, pour voir.

Ca serait absurde, mais tellement humain finalement.

[JPL]

Un bot capable de poster, de débattre, de lancer la controverse.
Une armé de troll qui envahirait les forums, les blogs et les commentaire d'article.

Malheureusement pas besoin d'IA pour ça... ni même d'intelligence tout court, hélas !