Craindre les machines
Répondre à la discussion
Affichage des résultats 1 à 8 sur 8

Craindre les machines



  1. #1
    Juzo

    Craindre les machines


    ------

    Bonjour,

    Je voudrais vous raconter le rêve que je viens de faire (soyez indulgent).

    J'étais avec ma soeur dans une maison où se trouvait toute ma famille. Il y avait un robot très vaguement humanoïde étendu par terre. Or avec ma soeur, nous constatons avec stupeur qu'il s'est saisi d'un ventilateur et d'une poche d'air ( ??? ) et qu'il parvient à s'insuffler de l'énergie. On dirait qu'il respire très péniblement, comme s'il suffoquait.

    Comme nous ne pouvons pas prévoir ce qu'il fera ensuite, nous décidons qu'il est plus prudent de lui ôter son système. Je m'en saisis et pousuis mon chemin, mais en me retournant nouvel étonnement, le robot ne se trouve plus à sa place.

    Nous sommes pris d'une première frayeur : que va-t-il bien pouvoir faire maintenant ? Voudra-t-il se venger du fait que nous ayons tenté de le désactiver ?

    Nous décidons de le retrouver immédiatement. Nous le trouvons plus tard en train de marcher, avec un "corps" plus épais, et ressemblant un peu plus à un être humain. Je me dis qu'il a dû se connecter au réseau etinformatique et se réinstaller dans une autre enveloppe. Nous craignons qu'il ne se développe encore et devienne dangereux, nous décidons de le désactiver.

    Lorsque nous nous en prenons à lui il se défend, et nous attaque même. Il est fait d'une matière souple et mouvante qui enveloppe ma tête. Je me retrouve plongé dans une image fixe en réalité virtuelle, avec une musique qui tourne en boucle. Je me sens irrémédiablement piégé, mais en me concentrant je sens la matière du robot dans mes mains, et je me débats pour le déchiqueter.

    Je sais que ma soeur est en danger, je me précipite vers elle dès que je me suis libéré. Plusieurs membres de ma famille sont là, en train de déchiqueter une autre partie du robot qui lui enserre le cou.

    Mon premier semtiment ensuite est que je dois impérativement prévenir les journalistes du danger que représentent les robots.

    Cela doit sembler très naïf raconté ainsi, mais je me suis dit qu'il était intéressant de vous faire part de ce rêve : bien que je ne me suis jamais vraiment intéressé aux dangers potentiels de l'IA, j'ai ressenti ici une véritable terreur glaçante face à la machine.

    Je pense qu'il est important d'accéder à l'idée de cette terreur quand on raisonne sur les dangers de l'IA.

    Plusieurs questions se posent :
    Comment prévoir ce que fera quelque chose qui ne pense pas comme nous ?
    Que se passera-t-il si une IA se dote d'une volonté d'auto-subsistance ? Si l'humanité tente de la freiner où de l'en empêcher on peut penser qu'elle deviendra un paramètre à éliminer.
    Question annexe 1, bien connue : que se passera-t-il si quelqu'un donne l'ordre à une IA puissante de détruire l'humanité ?
    Question annexe 2 : comment éviter de considérer de manière faussement humanisante de telles machines "intelligentes" ?
    Enfin : de quelles règles devons-nous nous doter pour se prémunir des risques ?

    Sur ce je vais me recoucher... Bonne nuit !

    -----
    Les fleurs du cerisier rêvent en blanc les fruits qu'elles ne voient pas.

  2. #2
    Bounoume

    Re : Craindre les machines

    Quel vilain cauchemar!
    Tu as bien dormi après?

    Pour sûr ça, c'est du genre de ce que pond notre chère TV avec ses fils à la mode avec des monstrures en réalité virtuelle. Tu pourrais p't'être faire quelque chose avec ce scénario.....
    Quelle sera la réalité?
    peut-être pire pour l'espèce humaine...... quelques scénarios déjà accessibles dans les ouvrages de SF...... mais pas forcément vraisemblables (si ils ne sont pas TOTALEMENT invraisemblables, bien sûr...)
    Y a pas que les 'machines' d'ailleurs, y a aussi le climat et diverses autres broutilles....

    Pour ce qui est des 'systèmes intelligents' (ceux capables d'auto-examen, de 'réflexion', certains diront de 'conscience' (?)).......
    mon opinion -ce n'est qu'une opinion subjective- ......

    1)Comment prévoir ce que fera quelque chose qui ne pense pas comme nous ?
    réponse: totalement impossible (pas moyen de se construire un modèle de sa façon de penser, pas de possibilité de faire des hypothèses sur les mécanismes de comportement de la 'chose')...

    2)Que se passera-t-il si une IA se dote d'une volonté d'auto-subsistance ? Si l'humanité tente de la freiner où de l'en empêcher on peut penser qu'elle deviendra un paramètre à éliminer.
    réponse: C'est un des ressorts des romans de SF..... Rien ne permet de dire que c'est invraisemblable......
    Pour le moment la soit-disant IA actuelle n'en est pas du tout capable. Mais demain?

    3)Question annexe 1, bien connue : que se passera-t-il si quelqu'un donne l'ordre à une IA puissante de détruire l'humanité ?
    Pure intrigue de SF.....
    Il y a déjà plein de moyens de détruire la vie (la nôtre en particulier) ..... Manipuler de façon perverse ou irresponsable, entre autres, les systèmes informatisés (pas d'intelligence autonome, simplement conçus et paramétrés par des gens -en principe- intelligents), ça peut bien arriver!!! Cela peut entraîner des catastrophes.....

    4) Question annexe 2 : comment éviter de considérer de manière faussement humanisante de telles machines "intelligentes" ?
    réponse: Pourquoi éviter? Si c'est le seul moyen d' imaginer des possibilités?

    5)Enfin : de quelles règles devons-nous nous doter pour se prémunir des risques ?
    deux conceptions: celle d'Isaac Asimov: les 'règles de la robotique' ........
    la mienne: c'est pas les règles légales qui feront quelque chose......
    Seuls les 'propriétaires' des systèmes en émergence d'IA forte pourraient tenter de les orienter dans un sens contrôlable......
    Seulement ces propriétaires (qui ont le pouvoir de concevoir développer et paramétrer les systèmes), ils sont plutôt intéressés par le profit immédiat....


    nb Bill Gates (qui a largué Microsoft) semble s'en être rendu compte maintenant....
    Dernière modification par Bounoume ; 04/08/2018 à 12h43.
    rien ne sert de penser, il faut réfléchir avant.... (Pierre Dac...)

  3. #3
    invite6486d7bd

    Re : Craindre les machines

    Citation Envoyé par Juzo Voir le message
    Que se passera-t-il si une IA se dote d'une volonté d'auto-subsistance ? Si l'humanité tente de la freiner où de l'en empêcher on peut penser qu'elle deviendra un paramètre à éliminer.
    Vision anthropomorphe de la chose peut-être ?
    On peut aussi penser qu'étant prévoyants et sachant qu'ils ont été produits, ces entités auraient plutôt intérêt à asservir leurs créateurs.

  4. #4
    Juzo

    Re : Craindre les machines

    Citation Envoyé par Bounoume
    Pourquoi éviter? Si c'est le seul moyen d' imaginer des possibilités
    Car humaniser l'objet auquel nous avons à faire est source d'erreurs de jugement, c'est par exemple le thème de fictions où des être humains tombent amoureux d'une IA.

    Nous avons beaucoup de mal à nous départir de ce réflexe de vision "humanisante".

    Par exemple en attaquer le robot pour le détruire peut passer pour une forme de "meurtre", alors qu'à part sa tendance à préserver son existence et sa forme humanoïde, celui-ci n'a peut-être rien d'humain.

    Sinon le "scénario" vous a plus ? ; ) je suis conscient de la naïveté de la démarche mais au moins j'ai pu noter le rêve sur le vif avant que ça s'efface. J'étais surtout impressionné que ce rêve me fasse ressentir d'authentiques émotions dont je n'avais jamais pris conscience auparavant. C'est peut-être une utilité des rêves, nous préparer et nous entraîner dans une forme de réalité virtuelle sans danger, à de potentielles situations future. (je suis tombé sur un article là-dessus il n'y a pas longtemps).

    On a remarqué que les rêves sont bien plus présents chez les espèces dont le développement cérébral n'est pas achevé à la naissance. Le rêve aurait alors une utilité dans le début de la vie pour parachever le développement du cerveau.
    Les fleurs du cerisier rêvent en blanc les fruits qu'elles ne voient pas.

  5. A voir en vidéo sur Futura
  6. #5
    invite7b7f1ad0

    Re : Craindre les machines

    C'est le moment de relire "le robot qui rêvait" d' I. Asimov.

  7. #6
    Archi3

    Re : Craindre les machines

    Citation Envoyé par Bounoume Voir le message
    5)Enfin : de quelles règles devons-nous nous doter pour se prémunir des risques ?
    deux conceptions: celle d'Isaac Asimov: les 'règles de la robotique' ........
    la mienne: c'est pas les règles légales qui feront quelque chose......
    plus simplement : obliger les constructeurs à munir tous les ordinateurs et robots d'un interrupteur pouvant le mettre hors tension (je pense que c'est déjà le cas en pratique !)

  8. #7
    sunyata

    Re : Craindre les machines

    Bonjour,

    "Craindre les machines" revient à inverser l'ordre des choses, et implicitement à accorder aux machines la part de conscience qu'elles n'ont pas.
    Les machines sont des artefacts aux service des humains. Donc il ne faut pas craindre les machines, mais le mauvais usage que les humains font des machines.
    Si une machine devenait consciente cela ne serait plus une machine. On ne pourrait plus en prédire les comportements, ni en définir l'usage.

    Nous en subirions les décisions et le comportement et serions rapidement asservis. (SF)

    Mais à mon sens il faut beaucoup plus craindre l'usage que certaines catégories d'humains aux moyens démesurés pourraient faire des machines,
    que craindre les machines qui sont des marionnettes efficaces.

    Il pourrait un jour exister des machines suffisamment complexes pour asservir toute une partie de l’humanité au bénéfice
    de quelques uns...

    Ce qui est effrayant est de considérer la brisure du symétrie qui existe entre certains humains aujourd'hui.
    Certains disposent de suffisamment de moyens pour envoyer des vaisseaux spatiaux dans l'espace,
    Ils disposent de moyens et d'un pouvoir démesuré qui peut être mis au service
    de finalités douteuses, et cela
    est beaucoup plus inquiétant.

    Cordialement,
    Dernière modification par sunyata ; 20/08/2018 à 04h35.

  9. #8
    invite6486d7bd

    Re : Craindre les machines

    Citation Envoyé par sunyata Voir le message
    Ce qui est effrayant est de considérer la brisure du symétrie qui existe entre certains humains aujourd'hui.
    Certains disposent de suffisamment de moyens pour envoyer des vaisseaux spatiaux dans l'espace,
    Ils disposent de moyens et d'un pouvoir démesuré qui peut être mis au service de finalités douteuses, et cela
    est beaucoup plus inquiétant.
    Il n'y a pas de finalités douteuses, il y a les conquérants et les vaincus.
    (A moins que vous ne pensiez que nous sommes le résultat d'un autre système de pensée...)

Discussions similaires

  1. est ce que j'ai raison de craindre cette injustesse?
    Par invite2731f9b9 dans le forum Géologie et Catastrophes naturelles
    Réponses: 4
    Dernier message: 09/05/2008, 11h48