Répondre à la discussion
Page 1 sur 2 1 DernièreDernière
Affichage des résultats 1 à 30 sur 46

théories sur le danger supposé des intelligences artificielles



  1. #1
    nicobzz

    théories sur le danger supposé des intelligences artificielles

    Bonjour,

    Etant interessé par l'informatique, et peut être un peu parano... J'ai toujours pensé qu'un jour l'intelligence artificielle représenterait un danger, même si peut être on trouvera un moyen pour éviter une catastrophe.

    Je voulais exposer mes idées et en discuter sur pourquoi je pense que les IA peuvent représenter un danger, même si les robots suffisament performant pour faire des taches semblables aux hommes n'existent pas.

    J'ai regardé un peu le thread http://forums.futura-sciences.com/de...un-danger.html.

    Si ça interesse des gens de discuter des dangers supposées des IA, j'aimerai ne pas parler de la faisabilité des IA sur cette page, mais si vous voulez sur une autre page.

    En fait voila j'expose quelques unes de mes idées:

    Si on arrive à créer des IA dans les ordinateurs, si ces IA sont douées pour résoudre des problèmes mathématiques, on peut supposer que ces IA trouveront très facilement les failles de sécurité des software installés sur une bonne partie des ordis de la planète, et pourront utiliser ces failles de sécurité pour se répendre sur beaucoup d'ordinateurs et devenir indélogeable d'internet.


    Et arrive une question évidente:
    Pourquoi de telles IA existeraient, et là deux réponses:
    des terroristes, des hackeur voulant de l'argent, des étant voulant le controle d'internet pourraient menacer de créer et diffuser de telles IA sur le net.
    Ou à partir du moment ou une IA existe et qu'elle peut évoluer, il peut arriver qu'il se crée automatiquement une IA cherchant les failles de sécurité des sofware pour se répandre, et si une telle IA se créer elle se répendra sur les ordis.

    Voila, j'espère que je serais pas trop inquiétant!

    Mais je voulais en discuter pour me faire une idée.

    -----


  2. Publicité
  3. #2
    myoper

    Re : théories sur le danger supposé des intelligences artificielles

    Citation Envoyé par nicobzz Voir le message
    Si on arrive à créer des IA dans les ordinateurs, si ces IA sont douées pour résoudre des problèmes mathématiques, on peut supposer que ces IA trouveront très facilement les failles de sécurité des software installés sur une bonne partie des ordis de la planète, et pourront utiliser ces failles de sécurité pour se répendre sur beaucoup d'ordinateurs et devenir indélogeable d'internet.
    Bonjour,

    C'est ici, amha, que le raisonnement pèche car outre que la possibilité de résoudre des problèmes mathématiques (une machine a calculer le fait déjà) ne donne pas la possibilité de trouver (détecter) des failles de sécurité (qui est un problème informatique) puis de l'utiliser (de quelle façon et pourquoi ?) cela présuppose, en plus, une volonté consciente (tautologie assumée) de le faire qui n'a pas a voir avec la possibilité de résoudre des problèmes mathématiques (lesquels, tous ? dans quelles conditions, comment et pourquoi ?).

  4. #3
    JPL

    Re : théories sur le danger supposé des intelligences artificielles

    Dans ton hypothèse de départ il faudrait que cette IA ait été programmée :
    1. pour se répandre partout ;
    2. et en particulier pour rechercher les failles des logiciels sur d'autres ordinateurs.
    Asimov, en inventant sa saga des robots avait également inventé des "lois de la robotique". Il paraît donc logique de penser que des concepteurs d'hypothétiques IA imposeraient à celles-ci un certain nombre de barrières logicielles.

    Sinon, pour ce que j'ai énuméré en 1) et 2) en beaucoup plus simple c'est ce que font la plupart des virus informatiques, et ce ne sont pas des IA.
    Rien ne sert de penser, il faut réfléchir avant - Pierre Dac

  5. #4
    nicobzz

    Re : théories sur le danger supposé des intelligences artificielles

    Ben, ça a pas vraiment d'importance que le fait de trouver les failles de sécurité se représente corresponde au fait de trouver la solution de problèmes mathématiques ou pas...

    L'idée c'est que le fait de rechercher les failles de sécurités dans un logiciels se fait par un raisonnement, actuellement réalisable uniquement par les humains, un jour peut être par les intelligences artificielles.

    Je donne un exemple de comment une IA pourrait utiliser une faille de sécurité pour se répandre sur d'autres ordinateurs:
    supposons qu'il existe une faille de sécurité dans un logiciel de Chat, il suffirait alors à un ordinateur contenant un IA , d'envoyer des messages exploitant cette faille de sécurité sur l'ordinateur cible pour envoyer le programme contenant l'intelligence artificielle... c'est ce qui se passe déjà avec les virus, sauf qu'avec un virus, si on corrige la faille de sécurité, le virus est bloqué.Tandis qu'avec l'intelligence artificielle, si on corrige la faille de sécurité, elle peut se débrouiller pour regarder le code source de beaucoup de logiciels utilisé sur internet, trouver de nouvelles failles de sécurité et continuer de se répandre sur d'autres ordis.

    Vous comprenez mon idée?

  6. #5
    nicobzz

    Re : théories sur le danger supposé des intelligences artificielles

    Asimov, en inventant sa saga des robots avait également inventé des "lois de la robotique". Il paraît donc logique de penser que des concepteurs d'hypothétiques IA imposeraient à celles-ci un certain nombre de barrières logicielles.

    Si des gens bien veulent créer des IA, pas de problèmes.
    Mais si des terroristes ou des hackers voulant gagner de l'argent par la menace voulaiebt faire des IA maléfiques, ils le pourraient, (en supposant que les IA soient faisables et qu'elles puissent exploiter les failles de sécurité)

  7. A voir en vidéo sur Futura
  8. #6
    invite765732342432
    Invité

    Re : théories sur le danger supposé des intelligences artificielles

    Citation Envoyé par nicobzz Voir le message
    Je donne un exemple de comment une IA pourrait utiliser une faille de sécurité pour se répandre sur d'autres ordinateurs
    La principale faille n'est pas dans les programmes mais dans l'utilisateur: une IA aurait plus vite fait de se propager en se présentant elle-même sous la forme d'un programme gratuit "pour adulte" qu'en cherchant à profiter de failles.

    De plus, vu le talent actuel des hackeurs humains, difficile de croire qu'une IA puisse faire beaucoup mieux.

    Tandis qu'avec l'intelligence artificielle, si on corrige la faille de sécurité, elle peut se débrouiller pour regarder le code source de beaucoup de logiciels utilisé sur internet, trouver de nouvelles failles de sécurité et continuer de se répandre sur d'autres ordis.
    Comme pour les humains.

    Citation Envoyé par nicobzz Voir le message
    Mais si des terroristes ou des hackers voulant gagner de l'argent par la menace voulaiebt faire des IA maléfiques
    Les gens dont tu parles ont des moyens beaucoup plus ismples et sur de gagner de l'argent. Cette crainte me rappelle ceux qui craignent qu'on pirate l'ISS pour la faire s'écraser ou autres scénarios, certes effrayants, mais tellement plus compliqués et couteux qu'une simple bombe.

    Et pour revenir au sujet, en admettant que ce dont tu parles soit possible (cad une IA douée d'un instinct de survie fort et de capacités de raisonnement importantes, le tout sans garde-fou), son intérêt est-il de nuire à l'espèce humaine ?
    Si cette IA est nuisible, elle devra affronter un adversaire de poids: l'homme. Et même pire: cet adversaire lui est nécessaire pour survivre (sans homme, pas d'Internet).

    Bref, si une telle IA existe, il est probable que son "instinct de survie" la poussera a être extrêmement discrète, voir utile pour l'homme.
    Etre nuisible ne serait pour elle qu'un désavantage

  9. Publicité
  10. #7
    nicobzz

    Re : théories sur le danger supposé des intelligences artificielles

    Tandis qu'avec l'intelligence artificielle, si on corrige la faille de sécurité, elle peut se débrouiller pour regarder le code source de beaucoup de logiciels utilisé sur internet, trouver de nouvelles failles de sécurité et continuer de se répandre sur d'autres ordis.
    Comme pour les humains.
    Sauf que les hackers humains sont quelques milliers, si les IA envahissent une bonne partie des ordinateurs, ils pourraient être des millions... En supposant que la limite des hackers ne soit pas le nombre de faille de sécurité, mais le temps pour trouver ces failles de sécurité.


    Bref, si une telle IA existe, il est probable que son "instinct de survie" la poussera a être extrêmement discrète, voir utile pour l'homme.
    Etre nuisible ne serait pour elle qu'un désavantage

    Sauf si c'est quelqu'un de malveillant qui a crée cette intelligence, sinon je suis complètement d'accord avec toi, c'est comme dans la théorie de l'évolution: les caractères permettant de mieux se reproduire sont plus présent dans une espèce car les individus portant cette caractéristique se sont plus reproduit.
    La question est: est ce un avantage sélectif pour une intelligence se multipliant sur internet que d'être mauvais ou bon envers les humains? D'un coté, les humains aurait intérêt à favoriser la dispersion des IA bienveillantes, tandis que les IA n'hésitant pas à voler les mots de passe de serveur, à exploiter les failles de sécurité diffuserait plus. L'idée alternative, ce serait qu'une IA bienveillante, mais qui ne se générait pas pour pirater le maximum d'ordi sur la planète soit ce qui se diffusera le plus.

  11. #8
    invite765732342432
    Invité

    Re : théories sur le danger supposé des intelligences artificielles

    Citation Envoyé par nicobzz Voir le message
    Sauf que les hackers humains sont quelques milliers, si les IA envahissent une bonne partie des ordinateurs, ils pourraient être des millions...
    Etre des millions mais toutes à peu près semblables... Et qui en plus fasse des études coordonnées de logiciels...

    Sauf si c'est quelqu'un de malveillant qui a crée cette intelligence
    L'IA dont tu parles est tellement perfectionnée que peu importe la mentalité de son créateur elle saura déterminer ce qui est le mieux pour elle.
    Tu ne peux pas supposer une IA supérieurement intelligente d'un coté mais se comportant de manière absurde de l'autre. Il faut choisir.

    Et je répète: créer un tel programme n'a aucun intérêt pour quelqu'un de malveillant. Il est beaucoup moins couteux (à tout point de vue: temps, argent, compétences) et beaucoup plus sûr d'utiliser de bon vieux virus ou troyens.

    La question est: est ce un avantage sélectif pour une intelligence se multipliant sur internet que d'être mauvais ou bon envers les humains?
    La réponse est assez simple: entre avoir un prédateur ou pas de prédateur, quelle solution te semble la plus favorable ?

  12. #9
    JPL

    Re : théories sur le danger supposé des intelligences artificielles

    Disons que pour le moment on raisonne sur une simple hypothèse (genre expérience de pensée) qui n'a aucune chance de se réaliser... disons avant très longtemps (pour rester optimiste).
    Rien ne sert de penser, il faut réfléchir avant - Pierre Dac

  13. #10
    invite986312212
    Invité

    Re : théories sur le danger supposé des intelligences artificielles

    Citation Envoyé par Faith Voir le message
    Bref, si une telle IA existe, il est probable que son "instinct de survie" la poussera a être extrêmement discrète, voir utile pour l'homme.
    Etre nuisible ne serait pour elle qu'un désavantage
    je réagis à cette phrase, parce que c'est ce que la théorie de l'évolution prédit des pathogènes, par exemple des virus (biologiques) : ils n'ont aucun avantage à tuer leur hôte et donc ils devraient évoluer vers moins de virulence. Et pourtant, on observe bien des virus assez nuisibles, et depuis longtemps.

  14. #11
    myoper

    Re : théories sur le danger supposé des intelligences artificielles

    Je ne lis que des "si". Autant postuler que "si" les IA étaient partout, elles seraient partout. Ça fait moins d'hypothèses.

    Citation Envoyé par ambrosio Voir le message
    Et pourtant, on observe bien des virus assez nuisibles, et depuis longtemps.
    Oui mais ici on parle réellement "d'intelligence" au contraire des pathogènes.

  15. #12
    invite986312212
    Invité

    Re : théories sur le danger supposé des intelligences artificielles

    bah oui mais si certains pathogènes ne suivent pas le patron d'évolution prédit, c'est que peut-être la prédiction est un peu naïve, et si ça vaut pour la biologie ça pourrait valoir ici aussi. De plus si des IA se répandent dans le monde, on peut penser qu'elles vont être en compétition les unes avec les autres, nous ne serions pas leurs seuls partenaires (ennemis?) et pourrions faire partie de dégâts collatéraux (du moins nos systèmes informatiques, au-delà c'est de la science fiction)

  16. Publicité
  17. #13
    myoper

    Re : théories sur le danger supposé des intelligences artificielles

    Citation Envoyé par ambrosio Voir le message
    ... au-delà c'est de la science fiction
    On est au-delà ...

  18. #14
    invite765732342432
    Invité

    Re : théories sur le danger supposé des intelligences artificielles

    Citation Envoyé par ambrosio Voir le message
    c'est que peut-être la prédiction est un peu naïve, et si ça vaut pour la biologie ça pourrait valoir ici aussi.
    Ou alors c'est appliquer aussi strictement la théorie de l'évolution au cas présent qui serait naïf...
    Quant-aux virus eux-même, il serait bon de rappeler que leur but n'est pas la destruction de leur hôte. Ce n'est qu'une conséquence malheureuse de leur mode de reproduction, qui présente un certain nombre d'avantages importants.
    Je veux bien accepter ta comparaison avec un virus biologique si tu précises quels seraient ces avantages que l'IA ne pourrait tirer que de la nuisance et pas de la discrétion.

  19. #15
    GillesH38a

    Re : théories sur le danger supposé des intelligences artificielles

    faut quand même pas oublier que dans le pire des cas, on peut toujours débrancher un ordinateur ...

  20. #16
    invite765732342432
    Invité

    Re : théories sur le danger supposé des intelligences artificielles

    Citation Envoyé par gillesh38 Voir le message
    faut quand même pas oublier que dans le pire des cas, on peut toujours débrancher un ordinateur ...
    J'allais en parler, mais ce n'est pas tout à fait exact: même aujourd'hui, la société aurait bien du mal à s'adapter à l'arrêt brutal des réseaux (et d'Internet en particulier)

    La plupart des grosses sociétés ont leurs serveurs très éloignés de leurs centres de gestion, et on ne parle même pas des banques&co.
    Même si l'humanité y survivrait évidemment, le sacrifice serait très lourd.

  21. #17
    invite986312212
    Invité

    Re : théories sur le danger supposé des intelligences artificielles

    Citation Envoyé par gillesh38 Voir le message
    faut quand même pas oublier que dans le pire des cas, on peut toujours débrancher un ordinateur ...
    comme dans 2001.

    encore faut-il se rendre compte que quelque-chose ne va pas.

  22. #18
    nicobzz

    Re : théories sur le danger supposé des intelligences artificielles

    De plus si des IA se répandent dans le monde, on peut penser qu'elles vont être en compétition les unes avec les autres
    c'est ce que j'ai pensé aussi, on peut même imaginer des pactes de non agression entre deux groupes d' IA pour mieux lutter contre les autres IA.

    Je veux bien accepter ta comparaison avec un virus biologique si tu précises quels seraient ces avantages que l'IA ne pourrait tirer que de la nuisance et pas de la discrétion.
    Je pense que les IA n'auraient pas de raison d'être volontairement mauvaises(sauf si programmé ainsi), mais pour se répandre le plus, elles auraient besoin d'utiliser le maximum de puissance de l’ordinateur hôte pour trouver les failles de sécurités ou pour créer des logiciels gratuit comme tu le dis dans ta phrase:
    une IA aurait plus vite fait de se propager en se présentant elle-même sous la forme d'un programme gratuit "pour adulte"
    A noter que si l'IA n'est pas bête, elle laissera à l'utilisateur la possibilité d'utiliser son ordinateur quand il en aura besoin (arrêter de chercher des solutions pour se répandre en utilisant le processeur), car sinon l'utilisateur s'empresserait de réinstaller le système d'exploitation.

  23. Publicité
  24. #19
    myoper

    Re : théories sur le danger supposé des intelligences artificielles

    Citation Envoyé par nicobzz Voir le message
    A noter que si l'IA n'est pas bête, ...

    J'étais en train de me dire qu'elles étaient très I, ces A et peut être plus que les I non A. Ce qui repose le problème de l'I, A ou pas.
    Et qu'est ce qu'I devrait faire si elle était A et qu'elle ne ferait pas si elle n'était pas A tout en restant I, A ou pas mais I.

  25. #20
    invite765732342432
    Invité

    Re : théories sur le danger supposé des intelligences artificielles

    Citation Envoyé par nicobzz Voir le message
    c'est ce que j'ai pensé aussi, on peut même imaginer des pactes de non agression entre deux groupes d' IA pour mieux lutter contre les autres IA.
    Bon, à ce niveau là, on n'est carrément dans un autre monde. Il ne s'agit plus d'IA mais de civilisations à part entière.
    Déjà avant, on était dans un sujet hautement improbable, mais là on dépasse la plupart des écrivains de SF.

    mais pour se répandre le plus, elles auraient besoin d'utiliser le maximum de puissance de l’ordinateur hôte pour trouver les failles de sécurités ou pour créer des logiciels gratuit comme tu le dis dans ta phrase
    Il y a un certain anthropomorphisme dans cette vision: celle du temps qui passe.
    Une IA n'a aucune raison de se presser, surtout si cet empressement lui fait des ennemis.

    Tu donnes effectivement un contre-argument tout à fait valable dans la suite.

  26. #21
    invite765732342432
    Invité

    Re : théories sur le danger supposé des intelligences artificielles

    Citation Envoyé par myoper Voir le message

    J'étais en train de me dire qu'elles étaient très I, ces A et peut être plus que les I non A. Ce qui repose le problème de l'I, A ou pas.
    Et qu'est ce qu'I devrait faire si elle était A et qu'elle ne ferait pas si elle n'était pas A tout en restant I, A ou pas mais I.
    joli !

  27. #22
    JPL

    Re : théories sur le danger supposé des intelligences artificielles

    Bon... on est dans la science-fiction. Il te reste à écrire un roman sur ce thème. S'il est bien écrit je pourrais prendre plaisir à le lire comme oeuvre de fiction. Mais ici c'est un forum scientifique et cela me paraît une discussion assez vaine pour ne pas dire franchement hors thématique.
    Rien ne sert de penser, il faut réfléchir avant - Pierre Dac

  28. #23
    DomiM

    Re : théories sur le danger supposé des intelligences artificielles

    Un virus doit passer inaperçu donc plus il est petit mieux il survis mais moins il est intelligent !
    C'est pour ça qu'on les a pas appelé éléphant
    Mesurer la masse de la situation permettrait de connaitre sa gravité :)

  29. #24
    Amanuensis

    Re : théories sur le danger supposé des intelligences artificielles

    Citation Envoyé par JPL Voir le message
    Bon... on est dans la science-fiction. Il te reste à écrire un roman sur ce thème.
    Ou lire ceux existant... Par exemple Jane dans Speaker for the Dead, Xenocide, et la suite... (O.S. Card)

    Mais

    1) Elle n'est pas malveillante (elle a été conçue à l'origine pour aider) ;

    2) Elle se copie partout mais reste une : faut pas oublier que dans un réseau les programmes peuvent communiquer à une vitesse telle qu'on peut aisément imaginer une situation où "l'individu" n'est pas ce qui se trouve sur une machine, mais l'ensemble des programmes communiquant.

    (Et elle survit la coupure de courant même d'un grand nombre de machines..., c'est couvert dans ces romans )

  30. Publicité
  31. #25
    GillesH38a

    Re : théories sur le danger supposé des intelligences artificielles

    Citation Envoyé par Amanuensis Voir le message
    2) Elle se copie partout mais reste une : faut pas oublier que dans un réseau les programmes peuvent communiquer à une vitesse telle qu'on peut aisément imaginer une situation où "l'individu" n'est pas ce qui se trouve sur une machine, mais l'ensemble des programmes communiquant.

    (Et elle survit la coupure de courant même d'un grand nombre de machines..., c'est couvert dans ces romans )
    bon, si on n'arrive pas non plus à couper rapidement les moyens de communications, comme certains gouvernement actuellement, c'est effectivement qu'on serait dans un monde très différent du notre . Disons que ça ressort plus de l'argument romanesque que de la théorie scientifique ...

  32. #26
    DomiM

    Re : théories sur le danger supposé des intelligences artificielles

    Nous avons plus à craindre des virus que des tigres ou des requins qui sont pourtant bien plus intelligent mais de fait beaucoup plus voyant et fragile qu'un virus au point qu'il sont en voie d'extinction.
    Il y a même plus intelligent que nous comme les éléphants et les dauphins qui même dressés par des humains pour nuire à d'autre humains on vite étaient dépassé par les char d'assaut et les avions de chasse eux même dépassé par le terrorisme, un humain surarmé léger et qui se fond dans la masse comme un virus.
    En informatique c'est un hacker, il ne sont pas passé par la case char d'assaut avion de chasse.
    Mesurer la masse de la situation permettrait de connaitre sa gravité :)

  33. #27
    Amanuensis

    Re : théories sur le danger supposé des intelligences artificielles

    Citation Envoyé par gillesh38 Voir le message
    bon, si on n'arrive pas non plus à couper rapidement les moyens de communications, comme certains gouvernement actuellement, c'est effectivement qu'on serait dans un monde très différent du notre .
    C'est bien ce qu'ils font finalement dans le roman, je te rassure. Couper l'intégralité du réseau, faire nettoyer les ordinateurs et installer un "firewall" drastique entre les ordinateurs et les moyens de communication avant de reconnecter.

    Il se trouve qu'il y a assez de dissidents pour ne pas exactement obéir au gouvernement (plus d'autres arguments plus romanesques) pour que cette technique échoue. C'est comme toujours en sécurité : le maillon faible est l'humain...

  34. #28
    nicobzz

    Re : théories sur le danger supposé des intelligences artificielles

    ben oui c'est clair que c'est de la science fiction, ... même si les IA arrivent à exister, c'est fort possible que de nouveaux paramètres qu'on ignore totalement arrivent et change la donne.

    Après ça dépend de la sensibilité de chacun d'interpréter si il y a danger ou pas en fonction de paramètres impossible à déterminer actuellement.

    En tout cas ça m'interpelle que des auteurs de science fiction aient fait un peu le même scénario, je vais essayer de me renseigner sur ce sujet dont je suis pas mal curieux.

  35. #29
    Partage

    Re : théories sur le danger supposé des intelligences artificielles

    Débat vain qui avait déjà eu lieu ici même, d'ailleurs.

    Pour rester dans la sf, je rêverais bien d'une IA rhétorique.
    Un bot capable de poster, de débattre, de lancer la controverse.
    Une armé de troll qui envahirait les forums, les blogs et les commentaire d'article.
    Pour ensuite faire débattre les bot entre eux. Comme ça, pour voir.

    Ca serait absurde, mais tellement humain finalement.

  36. #30
    JPL

    Re : théories sur le danger supposé des intelligences artificielles

    Citation Envoyé par Partage Voir le message
    Un bot capable de poster, de débattre, de lancer la controverse.
    Une armé de troll qui envahirait les forums, les blogs et les commentaire d'article.
    Malheureusement pas besoin d'IA pour ça... ni même d'intelligence tout court, hélas !
    Rien ne sert de penser, il faut réfléchir avant - Pierre Dac

Sur le même thème :

Page 1 sur 2 1 DernièreDernière

Discussions similaires

  1. Les intelligences artificielles
    Par Morgub dans le forum Discussions scientifiques
    Réponses: 170
    Dernier message: 23/01/2011, 15h29
  2. TPE Intelligences artificielles
    Par SuperGeek dans le forum TPE / TIPE et autres travaux
    Réponses: 4
    Dernier message: 08/10/2009, 17h23
  3. cherche école qui appliquent la théorie des intelligences multiples
    Par Roselila dans le forum Neuropsychologie et Psychologie
    Réponses: 0
    Dernier message: 26/06/2008, 18h02
  4. Sur la pertinence des théories actuelles
    Par DaoLoNg WoNg dans le forum Lectures scientifiques
    Réponses: 5
    Dernier message: 04/03/2007, 09h49
  5. [Vie artificielle]: L'avenir des Vies artificielles
    Par Tesla dans le forum [Oct] nombre d'or, fractales, vie artificielle
    Réponses: 1
    Dernier message: 19/10/2003, 21h52