théories sur le danger supposé des intelligences artificielles

nicobzz · 27/01/2011 - 12h24

Bonjour,

Etant interessé par l'informatique, et peut être un peu parano... J'ai toujours pensé qu'un jour l'intelligence artificielle représenterait un danger, même si peut être on trouvera un moyen pour éviter une catastrophe.

Je voulais exposer mes idées et en discuter sur pourquoi je pense que les IA peuvent représenter un danger, même si les robots suffisament performant pour faire des taches semblables aux hommes n'existent pas.

J'ai regardé un peu le thread L'intelligence artificielle avancée, un danger ?.

Si ça interesse des gens de discuter des dangers supposées des IA, j'aimerai ne pas parler de la faisabilité des IA sur cette page, mais si vous voulez sur une autre page.

En fait voila j'expose quelques unes de mes idées:

Si on arrive à créer des IA dans les ordinateurs, si ces IA sont douées pour résoudre des problèmes mathématiques, on peut supposer que ces IA trouveront très facilement les failles de sécurité des software installés sur une bonne partie des ordis de la planète, et pourront utiliser ces failles de sécurité pour se répendre sur beaucoup d'ordinateurs et devenir indélogeable d'internet.

Et arrive une question évidente:
Pourquoi de telles IA existeraient, et là deux réponses:
des terroristes, des hackeur voulant de l'argent, des étant voulant le controle d'internet pourraient menacer de créer et diffuser de telles IA sur le net.
Ou à partir du moment ou une IA existe et qu'elle peut évoluer, il peut arriver qu'il se crée automatiquement une IA cherchant les failles de sécurité des sofware pour se répandre, et si une telle IA se créer elle se répendra sur les ordis.

Voila, j'espère que je serais pas trop inquiétant!

Mais je voulais en discuter pour me faire une idée.

**myoper** · 27/01/2011 - 13h10

Envoyé par nicobzz

Si on arrive à créer des IA dans les ordinateurs, si ces IA sont douées pour résoudre des problèmes mathématiques, on peut supposer que ces IA trouveront très facilement les failles de sécurité des software installés sur une bonne partie des ordis de la planète, et pourront utiliser ces failles de sécurité pour se répendre sur beaucoup d'ordinateurs et devenir indélogeable d'internet.

Bonjour,

C'est ici, amha, que le raisonnement pèche car outre que la possibilité de résoudre des problèmes mathématiques (une machine a calculer le fait déjà) ne donne pas la possibilité de trouver (détecter) des failles de sécurité (qui est un problème informatique) puis de l'utiliser (de quelle façon et pourquoi ?) cela présuppose, en plus, une volonté consciente (tautologie assumée) de le faire qui n'a pas a voir avec la possibilité de résoudre des problèmes mathématiques (lesquels, tous ? dans quelles conditions, comment et pourquoi ?).

**JPL** · 27/01/2011 - 15h01

Dans ton hypothèse de départ il faudrait que cette IA ait été programmée :

pour se répandre partout ;
et en particulier pour rechercher les failles des logiciels sur d'autres ordinateurs.

Asimov, en inventant sa saga des robots avait également inventé des "lois de la robotique". Il paraît donc logique de penser que des concepteurs d'hypothétiques IA imposeraient à celles-ci un certain nombre de barrières logicielles.

Sinon, pour ce que j'ai énuméré en 1) et 2) en beaucoup plus simple c'est ce que font la plupart des virus informatiques, et ce ne sont pas des IA.

nicobzz · 27/01/2011 - 15h03

Ben, ça a pas vraiment d'importance que le fait de trouver les failles de sécurité se représente corresponde au fait de trouver la solution de problèmes mathématiques ou pas...

L'idée c'est que le fait de rechercher les failles de sécurités dans un logiciels se fait par un raisonnement, actuellement réalisable uniquement par les humains, un jour peut être par les intelligences artificielles.

Je donne un exemple de comment une IA pourrait utiliser une faille de sécurité pour se répandre sur d'autres ordinateurs:
supposons qu'il existe une faille de sécurité dans un logiciel de Chat, il suffirait alors à un ordinateur contenant un IA , d'envoyer des messages exploitant cette faille de sécurité sur l'ordinateur cible pour envoyer le programme contenant l'intelligence artificielle... c'est ce qui se passe déjà avec les virus, sauf qu'avec un virus, si on corrige la faille de sécurité, le virus est bloqué.Tandis qu'avec l'intelligence artificielle, si on corrige la faille de sécurité, elle peut se débrouiller pour regarder le code source de beaucoup de logiciels utilisé sur internet, trouver de nouvelles failles de sécurité et continuer de se répandre sur d'autres ordis.

Vous comprenez mon idée?

nicobzz · 27/01/2011 - 15h08

Asimov, en inventant sa saga des robots avait également inventé des "lois de la robotique". Il paraît donc logique de penser que des concepteurs d'hypothétiques IA imposeraient à celles-ci un certain nombre de barrières logicielles.

Si des gens bien veulent créer des IA, pas de problèmes.
Mais si des terroristes ou des hackers voulant gagner de l'argent par la menace voulaiebt faire des IA maléfiques, ils le pourraient, (en supposant que les IA soient faisables et qu'elles puissent exploiter les failles de sécurité)

Faith · 27/01/2011 - 15h21

Envoyé par nicobzz

Je donne un exemple de comment une IA pourrait utiliser une faille de sécurité pour se répandre sur d'autres ordinateurs

La principale faille n'est pas dans les programmes mais dans l'utilisateur: une IA aurait plus vite fait de se propager en se présentant elle-même sous la forme d'un programme gratuit "pour adulte" qu'en cherchant à profiter de failles.

De plus, vu le talent actuel des hackeurs humains, difficile de croire qu'une IA puisse faire beaucoup mieux.

Tandis qu'avec l'intelligence artificielle, si on corrige la faille de sécurité, elle peut se débrouiller pour regarder le code source de beaucoup de logiciels utilisé sur internet, trouver de nouvelles failles de sécurité et continuer de se répandre sur d'autres ordis.

Comme pour les humains.

Envoyé par nicobzz

Mais si des terroristes ou des hackers voulant gagner de l'argent par la menace voulaiebt faire des IA maléfiques

Les gens dont tu parles ont des moyens beaucoup plus ismples et sur de gagner de l'argent. Cette crainte me rappelle ceux qui craignent qu'on pirate l'ISS pour la faire s'écraser ou autres scénarios, certes effrayants, mais tellement plus compliqués et couteux qu'une simple bombe.

Et pour revenir au sujet, en admettant que ce dont tu parles soit possible (cad une IA douée d'un instinct de survie fort et de capacités de raisonnement importantes, le tout sans garde-fou), son intérêt est-il de nuire à l'espèce humaine ?
Si cette IA est nuisible, elle devra affronter un adversaire de poids: l'homme. Et même pire: cet adversaire lui est nécessaire pour survivre (sans homme, pas d'Internet).

Bref, si une telle IA existe, il est probable que son "instinct de survie" la poussera a être extrêmement discrète, voir utile pour l'homme.
Etre nuisible ne serait pour elle qu'un désavantage

nicobzz · 27/01/2011 - 15h39

Tandis qu'avec l'intelligence artificielle, si on corrige la faille de sécurité, elle peut se débrouiller pour regarder le code source de beaucoup de logiciels utilisé sur internet, trouver de nouvelles failles de sécurité et continuer de se répandre sur d'autres ordis.

Comme pour les humains.

Sauf que les hackers humains sont quelques milliers, si les IA envahissent une bonne partie des ordinateurs, ils pourraient être des millions... En supposant que la limite des hackers ne soit pas le nombre de faille de sécurité, mais le temps pour trouver ces failles de sécurité.

Bref, si une telle IA existe, il est probable que son "instinct de survie" la poussera a être extrêmement discrète, voir utile pour l'homme.
Etre nuisible ne serait pour elle qu'un désavantage

Sauf si c'est quelqu'un de malveillant qui a crée cette intelligence, sinon je suis complètement d'accord avec toi, c'est comme dans la théorie de l'évolution: les caractères permettant de mieux se reproduire sont plus présent dans une espèce car les individus portant cette caractéristique se sont plus reproduit.
La question est: est ce un avantage sélectif pour une intelligence se multipliant sur internet que d'être mauvais ou bon envers les humains? D'un coté, les humains aurait intérêt à favoriser la dispersion des IA bienveillantes, tandis que les IA n'hésitant pas à voler les mots de passe de serveur, à exploiter les failles de sécurité diffuserait plus. L'idée alternative, ce serait qu'une IA bienveillante, mais qui ne se générait pas pour pirater le maximum d'ordi sur la planète soit ce qui se diffusera le plus.

Faith · 27/01/2011 - 15h50

Envoyé par nicobzz

Sauf que les hackers humains sont quelques milliers, si les IA envahissent une bonne partie des ordinateurs, ils pourraient être des millions...

Etre des millions mais toutes à peu près semblables... Et qui en plus fasse des études coordonnées de logiciels...

Sauf si c'est quelqu'un de malveillant qui a crée cette intelligence

L'IA dont tu parles est tellement perfectionnée que peu importe la mentalité de son créateur elle saura déterminer ce qui est le mieux pour elle.
Tu ne peux pas supposer une IA supérieurement intelligente d'un coté mais se comportant de manière absurde de l'autre. Il faut choisir.

Et je répète: créer un tel programme n'a aucun intérêt pour quelqu'un de malveillant. Il est beaucoup moins couteux (à tout point de vue: temps, argent, compétences) et beaucoup plus sûr d'utiliser de bon vieux virus ou troyens.

La question est: est ce un avantage sélectif pour une intelligence se multipliant sur internet que d'être mauvais ou bon envers les humains?

La réponse est assez simple: entre avoir un prédateur ou pas de prédateur, quelle solution te semble la plus favorable ?

**JPL** · 27/01/2011 - 16h02

Disons que pour le moment on raisonne sur une simple hypothèse (genre expérience de pensée) qui n'a aucune chance de se réaliser... disons avant très longtemps (pour rester optimiste).

invite986312212 · 27/01/2011 - 21h11

Envoyé par Faith

Bref, si une telle IA existe, il est probable que son "instinct de survie" la poussera a être extrêmement discrète, voir utile pour l'homme.
Etre nuisible ne serait pour elle qu'un désavantage

je réagis à cette phrase, parce que c'est ce que la théorie de l'évolution prédit des pathogènes, par exemple des virus (biologiques) : ils n'ont aucun avantage à tuer leur hôte et donc ils devraient évoluer vers moins de virulence. Et pourtant, on observe bien des virus assez nuisibles, et depuis longtemps.

**myoper** · 27/01/2011 - 21h16

Je ne lis que des "si". Autant postuler que "si" les IA étaient partout, elles seraient partout. Ça fait moins d'hypothèses.

Envoyé par ambrosio

Et pourtant, on observe bien des virus assez nuisibles, et depuis longtemps.

Oui mais ici on parle réellement "d'intelligence" au contraire des pathogènes.

invite986312212 · 27/01/2011 - 21h29

bah oui mais si certains pathogènes ne suivent pas le patron d'évolution prédit, c'est que peut-être la prédiction est un peu naïve, et si ça vaut pour la biologie ça pourrait valoir ici aussi. De plus si des IA se répandent dans le monde, on peut penser qu'elles vont être en compétition les unes avec les autres, nous ne serions pas leurs seuls partenaires (ennemis?) et pourrions faire partie de dégâts collatéraux (du moins nos systèmes informatiques, au-delà c'est de la science fiction)

**myoper** · 27/01/2011 - 21h47

Envoyé par ambrosio

... au-delà c'est de la science fiction

On est au-delà ...

Faith · 28/01/2011 - 08h44

Envoyé par ambrosio

c'est que peut-être la prédiction est un peu naïve, et si ça vaut pour la biologie ça pourrait valoir ici aussi.

Ou alors c'est appliquer aussi strictement la théorie de l'évolution au cas présent qui serait naïf...
Quant-aux virus eux-même, il serait bon de rappeler que leur but n'est pas la destruction de leur hôte. Ce n'est qu'une conséquence malheureuse de leur mode de reproduction, qui présente un certain nombre d'avantages importants.
Je veux bien accepter ta comparaison avec un virus biologique si tu précises quels seraient ces avantages que l'IA ne pourrait tirer que de la nuisance et pas de la discrétion.