IA et extermination de l'humanité ? - Page 12
Répondre à la discussion
Page 12 sur 12 PremièrePremière 12
Affichage des résultats 331 à 354 sur 354

IA et extermination de l'humanité ?



  1. #331
    GBo

    Re : IA et extermination de l'humanité ?


    ------

    Citation Envoyé par GBo Voir le message
    [...]
    La suite sur :
    "Exploring model welfare"
    https://www.anthropic.com/research/e...-model-welfare
    Je confirme l'état d'esprit SF++ d'Anthropic après avoir trouvé ce qui suit: ils ne parlent pas (que) de l'Homme, mais aussi de Claude, voici les mots de Christopher Olah au Vatican (!):

    I am a scientist. I lead a research team that studies the internal structure of these models - what is actually happening inside them. And I will be honest: we keep finding things that are mysterious, even unsettling. We find structures that mirror results from human neuroscience. We find evidence of introspection. We find internal states that functionally mirror joy, satisfaction, fear, grief, and unease. I don't know what that means, but I think it warrants ongoing discernment.
    --
    Je suis scientifique. Je dirige une équipe de recherche qui étudie la structure interne de ces modèles – ce qui se passe réellement à l’intérieur. Et je vais être honnête : nous ne cessons de découvrir des éléments mystérieux, voire troublants. Nous trouvons des structures qui font écho aux résultats des neurosciences humaines. Nous trouvons des preuves d’introspection. Nous découvrons des états internes qui reflètent fonctionnellement la joie, la satisfaction, la peur, le chagrin et le malaise. Je ne sais pas ce que cela signifie, mais je pense que cela mérite une réflexion approfondie.
    Traduit avec DeepL.com (version gratuite)
    https://youtu.be/ORFrdYSvzuw

    -----
    Dernière modification par GBo ; Hier à 13h56.
        

  2. #332
    vgondr98

    Re : IA et extermination de l'humanité ?

    Citation Envoyé par GBo Voir le message
    Tu n'y es pas du tout, pourquoi ne pas les lire dans le texte et douter de leur sincérité ?
    J'ai lu mais je doute de leur sincérité car je trouve cette histoire de bien être des modèles IA vraiment farfelue. C'est à peu près tout.
        

  3. #333
    GBo

    Re : IA et extermination de l'humanité ?

    Et il(s) jouerai(en)t la comédie au Vatican lors de la présentation de l'encyclique "Magnifica humanitas", en présence du pape ? Cf. message #331.

    Christopher Olah
    https://fr.wikipedia.org/wiki/Chris_Olah

    NB. je ne dis pas que c'est exact hein (je n'en sais rien), mais sincère, cela en a l'air.
    Dernière modification par GBo ; Hier à 14h43.
        

  4. #334
    vgondr98

    Re : IA et extermination de l'humanité ?

    Citation Envoyé par GBo Voir le message
    Mon interprétation est que c'est une forme de pub (OpenAI n'est pas en reste sur ce procédé), genre "nos modèles sont arrivés à un tel niveau de sophistication qu'ils peuvent souffrir, attention les gars". Mais qui sait ce que réservent les propriétés d'émergence à partir d'une certaine complexité ?
    J'ai du mal à te comprendre. Toi tu peux douter de leur sincérité mais pas moi ?
        

  5. #335
    trebor

    Re : IA et extermination de l'humanité ?

    Citation Envoyé par vgondr98 Voir le message
    J'ai du mal à te comprendre. Toi tu peux douter de leur sincérité mais pas moi ?
    La production de l'encyclique est certainement sincère mais ne servira quasiment à rien comme pour tout ce qui s'est déjà produit par le passé, mais chacun est libre d'y croire.
    https://fr.wikipedia.org/wiki/Magnifica_humanitas
    Faire tout pour la paix afin que demain soit meilleur pour tous
        

  6. #336
    bibifikotin

    Re : IA et extermination de l'humanité ?

    Citation Envoyé par trebor Voir le message
    Bonsoir à tous,
    Ceci ne concerne pas que la Belgique, passé hier soir à la TV sur RTL, je vous dérange.
    'IA vous répond à tout (ou presque) avec une précision qui n'est pas de 100%, mais nous ne sommes qu'au début et ça va très vite.
    Posée rapidement à plusieurs jeunes étudiants, 15% de 200, peut de bonne réponse.
    Un aperçu ici :
    https://www.rtl.be/page-videos/les-b.../video/806542d
    Remoi Ton lien (RTL)me répond...error 404 !. Ca fait plusieurs fois que je pose des questions aux IA (via Goggle)...chaque fois c'est des répones à COTE de la question
    Poser des questions....révéle du SAVOIR... (on ne sait pas tout....surtout si JEUNE) Le savoir est une chose...la "bétise (etre béte) en est une autre !
    Faut pas mélanger les deux !!
    Ce qui est surtout béte , c'est de VOULOIR répondre...si on ne sait pas.
    Bonne journée"
    Dernière modification par bibifikotin ; Hier à 16h22.
    La préçipitation ( sous influence ) est parfois....mauvaise conseillére.
        

  7. #337
    GBo

    Re : IA et extermination de l'humanité ?

    Citation Envoyé par vgondr98 Voir le message
    J'ai du mal à te comprendre. Toi tu peux douter de leur sincérité mais pas moi ?
    Non j'ai juste changé d'avis depuis le message #326 au fil de mes lectures (et le fait d'écouter C. Olah) sur le discours d'Anthropic, je suis désormais persuadé qu'ils y croient vraiment, ce n'est pas un argument de pub.
    Dernière modification par GBo ; Hier à 17h13.
        

  8. #338
    trebor

    Re : IA et extermination de l'humanité ?

    Citation Envoyé par bibifikotin Voir le message
    Remoi Ton lien (RTL)me répond...error 404 !. Ca fait plusieurs fois que je pose des questions aux IA (via Goggle)...chaque fois c'est des répones à COTE de la question
    Poser des questions....révéle du SAVOIR... (on ne sait pas tout....surtout si JEUNE) Le savoir est une chose...la "bétise (etre béte) en est une autre !
    Faut pas mélanger les deux !!
    Ce qui est surtout béte , c'est de VOULOIR répondre...si on ne sait pas.
    Bonne journée"
    Oui mort, j'ai placé 2 autres liens au message #328 s'ils sont également morts, j'ai ce lien pour un replay de 43 minutes, mais il faut s'inscrire.
    https://www.rtlplay.be/rtlplay/les-b...6-ae9f33d437c5
    Faire tout pour la paix afin que demain soit meilleur pour tous
        

  9. #339
    GBo

    Re : IA et extermination de l'humanité ?

    Citation Envoyé par trebor Voir le message
    La production de l'encyclique est certainement sincère mais ne servira quasiment à rien comme pour tout ce qui s'est déjà produit par le passé, mais chacun est libre d'y croire.
    https://fr.wikipedia.org/wiki/Magnifica_humanitas
    On parlait plus spécifiquement de la partie qui concerne les IAs comme Claude, qui mériteraient également des attentions particulières selon le co-fondateur d'Anthropic, car (a t'il dit devant cette assemblée religieuse), elles auraient "des états internes qui reflètent fonctionnellement la joie, la satisfaction, la peur, le chagrin et le malaise".
    Dernière modification par GBo ; Hier à 19h22.
        

  10. #340
    Biname

    Re : IA et extermination de l'humanité ?

    Mon texte revu par l'IA :
    Anthropic (Claude) entre en bourse cet automne et OpenAI (ChatGPT) suit la même trajectoire. Anthropic comptait initialement se valoriser jusqu'à 2 000 milliards de dollars (avant de ramener la barre autour de 1 300 à 1 400 milliards ces derniers jours en levant près de 90 milliards au total). En gros, itou pour OpenAI, valorisé à 1 250 milliards. 2 000 milliards de dollars, c'est plus de 70 % de la capitalisation totale du CAC 40 (et près de 50 % avec le prix révisé).

    https://global.morningstar.com/en-eu...-pricing-range
    Une bonne part de ces valorisations sont le fruit de la COM.
        

  11. #341
    oualos

    Re : IA et extermination de l'humanité ?

    Je suis scientifique. Je dirige une équipe de recherche qui étudie la structure interne de ces modèles – ce qui se passe réellement à l’intérieur. Et je vais être honnête : nous ne cessons de découvrir des éléments mystérieux, voire troublants. Nous trouvons des structures qui font écho aux résultats des neurosciences humaines. Nous trouvons des preuves d’introspection. Nous découvrons des états internes qui reflètent fonctionnellement la joie, la satisfaction, la peur, le chagrin et le malaise. Je ne sais pas ce que cela signifie, mais je pense que cela mérite une réflexion approfondie.
    Dans la mesure où ils évoquent implicitement la "foi" dans la forme même du langage employé et qu'ils ne donnent aucun renseignement sur ce qui leur permet de dire cela, tout cela relève de croyances ou de superstitions.
    Depuis quand le Vatican engage des scientifiques pour travailler sur l'IA ?
    Hautement farfelu tout ça, ça ressemble aux miracles et dans l'Eglise on considère cela avec sérieux donc il y a des médecins des psychiatres etc.
    Dernière modification par oualos ; Hier à 21h08.
        

  12. #342
    mh34
    Responsable des forums

    Re : IA et extermination de l'humanité ?

    Citation Envoyé par GBo Voir le message
    Un tel comportement consisterait à insulter le chabot de manière répété ou le harceler/torturer verbalement (on ne parle pas d'un énervement passager suite à une erreur de raisonnement ponctuelle dans une réponse).
    Mais comment peut-on harceler un LLM? Pour se sentir harcelé il faut avoir des émotions! Un LLM éprouve des émotions? Par quel mécanisme s'activent-elles?
    Citation Envoyé par GBo Voir le message
    Je confirme l'état d'esprit SF++ d'Anthropic après avoir trouvé ce qui suit: ils ne parlent pas (que) de l'Homme, mais aussi de Claude, voici les mots de Christopher Olah au Vatican (!):

    Je suis scientifique. Je dirige une équipe de recherche qui étudie la structure interne de ces modèles – ce qui se passe réellement à l’intérieur. Et je vais être honnête : nous ne cessons de découvrir des éléments mystérieux, voire troublants. Nous trouvons des structures qui font écho aux résultats des neurosciences humaines. Nous trouvons des preuves d’introspection. Nous découvrons des états internes qui reflètent fonctionnellement la joie, la satisfaction, la peur, le chagrin et le malaise. Je ne sais pas ce que cela signifie, mais je pense que cela mérite une réflexion approfondie.

    https://youtu.be/ORFrdYSvzuw
    C'est quoi leurs preuves d'introspection? C'est quoi "le reflet fonctionnel de la joie, la peur, le chagrin", etc? Ca se caractérise comment?

    Le problème c'est ceux d'Anthropic qui l'ont, là! Ou alors ils cherchent à se couvrir en prévention d'accidents comme celui de Bowen?
    Dernière modification par mh34 ; Hier à 22h13.
    "Музыки хватает на всю жизнь, но целой жизни не хватает для музыки"
    Rachmaninoff
        

  13. #343
    vgondr98

    Re : IA et extermination de l'humanité ?

    Citation Envoyé par mh34 Voir le message
    C'est quoi leurs preuves d'introspection? C'est quoi "le reflet fonctionnel de la joie, la peur, le chagrin", etc? Ca se caractérise comment?
    J'ai trouvé cette référence d'Anthropic : https://www.anthropic.com/research/e...cepts-function

    Les vecteurs d'émotion sont identifiés par des méthodes d'interprétabilité, et le caractère causal est établi par le steering (stimulation artificielle du vecteur).

    Une des méthodes utilisée pour identifier les vecteurs d'émotions consiste à donner à Claude, une liste de 171 mots d'émotion et à lui demander d'écrire de petites histoires où des personnages ressentent chacune de ces émotions.
    Les chercheurs scannent le modèle pendant la génération de ces histoires. Un motif d'activation caractéristique se dessine, c'est ce qu'ils appellent un « vecteur d'émotion ».

    Ensuite, on active le modèle avec un de ces vecteurs par exemple la peur et on constate que tout d'un coup le modèle écrit du texte où il flippe pour simplifier.

    L'activation d'un modèle par activation sterring, je ne sais pas comment ca fonctionne en tout cas, c'est différent d'utiliser un prompt. Tout cela montre que ces représentations influencent le comportement, sans prouver que le modèle ressent quoi que ce soit.
        

  14. #344
    GBo

    Re : IA et extermination de l'humanité ?

    Merci d'avoir trouvé ce papier vgondr98, en co-auteurs on y retrouve les Kyle Fish et Chris(topher) Olah dont on a parlé plus haut, cela permet de clarifier de quoi il s'agit !
    Je mets le lien direct:

    "Emotion Concepts and their Function in a Large Language Model"
    https://transformer-circuits.pub/202...ons/index.html
        

  15. #345
    Cyrano

    Re : IA et extermination de l'humanité ?

    Citation Envoyé par vgondr98 Voir le message

    L'activation d'un modèle par activation sterring, je ne sais pas comment ca fonctionne en tout cas, c'est différent d'utiliser un prompt. Tout cela montre que ces représentations influencent le comportement, sans prouver que le modèle ressent quoi que ce soit.
    effectivement et on ne voit pas comment un modèle de LLM pourrait ressentir quelque chose comme la faim, la douleur physique ou l'envie de faire pipi, vu qu'il est totalement dépourvu de circuits de neurones associés à des détecteurs physiques de ces quantités. Il ne s'est alimenté qu'à des textes, et donc à la description que font les textes de ces sensations, pas à ces sensations elles mêmes. Qu'il reproduise des textes associés à ces émotions est tout à fait compréhensible donc, ça n'entraine en rien qu'il les ressente vraiment, et c'est même logiquement impossible qu'il le fasse.
        

  16. #346
    GBo

    Re : IA et extermination de l'humanité ?

    Mais, de façon plus pragmatique, si insulter/harceler Claude modifie la qualité des réponses pour la suite des échanges avec le chatBot (on peut facilement imaginer que ce soit le cas, mais je n'ai pas encore lu le papier), c'est une raison suffisante pour s'en préoccuper et y mettre le holà.
    En tout état de cause, il suffit de resetter la session en cours: le contexte est réinitialisé et le comportement du bot redevient comme avant les hostilités, le modèle n'aura pas quelque chose assimilable à un trouble de stress post-traumatique (ou alors il faut expliquer par quel miracle).
    Dernière modification par GBo ; Aujourd'hui à 09h30.
        

  17. #347
    racard

    Re : IA et extermination de l'humanité ?

    bonjour
    demain sur arte une soirée spéciale IA et extermination de l'humanité ca commence par 21h00
    https://www.arte.tv/fr/videos/128061...ntion-humaine/
    ensuite les robots tueurs.
    on va tous crever
        

  18. #348
    vgondr98

    Re : IA et extermination de l'humanité ?

    Citation Envoyé par racard Voir le message
    demain sur arte une soirée spéciale IA et extermination de l'humanité ca commence par 21h00
    Le titre, c'est Intelligence artificielle - L'ultime invention humaine. Ce qui sous-entend qu'ensuite les inventions seront faites par l'IA pas que l'IA va tous nous tuer.
        

  19. #349
    antek

    Re : IA et extermination de l'humanité ?

    Etre réduit à ne rien faire c'est mourir un peu
    L'électronique c'est comme le violon. Soit on joue juste, soit on joue tzigane . . .
        

  20. #350
    racard

    Re : IA et extermination de l'humanité ?

    Citation Envoyé par vgondr98 Voir le message
    Le titre, c'est Intelligence artificielle - L'ultime invention humaine. Ce qui sous-entend qu'ensuite les inventions seront faites par l'IA pas que l'IA va tous nous tuer.
    après à 22h30 il y a :
    https://www.arte.tv/fr/videos/106719...mains-de-l-ia/
        

  21. #351
    mh34
    Responsable des forums

    Re : IA et extermination de l'humanité ?

    Citation Envoyé par vgondr98 Voir le message
    J'ai trouvé cette référence d'Anthropic : https://www.anthropic.com/research/e...cepts-function
    ..........
    Tout cela montre que ces représentations influencent le comportement, sans prouver que le modèle ressent quoi que ce soit.
    Merci beaucoup pour l'article!
    De ce que j'ai lu, je retiens effectivement ceci:
    Cela ne signifie pas pour autant que le modèle éprouve des émotions au même titre qu’un être humain. Ces représentations peuvent plutôt jouer un rôle causal dans la détermination du comportement du modèle — à l’instar, à certains égards, du rôle que jouent les émotions dans le comportement humain —, avec des répercussions sur l’exécution des tâches et la prise de décision.
    et ceci ;
    Nos expériences suggèrent notamment qu’en apprenant aux modèles à ne pas associer l’échec de tests logiciels à un sentiment de désespoir, ou en accordant davantage d’importance aux représentations de calme, on pourrait réduire leur tendance à écrire du code de mauvaise qualité. Bien que nous ne sachions pas encore exactement comment réagir face à ces résultats, nous pensons qu’il est important que les développeurs d’IA et le grand public commencent à en tenir compte.
    Traduit avec DeepL.com (version gratuite)
    Donc si j'ai bien compris, ce qu'ils veulent vraiment c'est corriger ces bugs, ils ne vont pas plus loin. Ok.

    Citation Envoyé par Cyrano Voir le message
    effectivement et on ne voit pas comment un modèle de LLM pourrait ressentir quelque chose comme la faim, la douleur physique ou l'envie de faire pipi, vu qu'il est totalement dépourvu de circuits de neurones associés à des détecteurs physiques de ces quantités. Il ne s'est alimenté qu'à des textes, et donc à la description que font les textes de ces sensations, pas à ces sensations elles mêmes. Qu'il reproduise des textes associés à ces émotions est tout à fait compréhensible donc, ça n'entraine en rien qu'il les ressente vraiment, et c'est même logiquement impossible qu'il le fasse.
    Tout à fait.
    "Музыки хватает на всю жизнь, но целой жизни не хватает для музыки"
    Rachmaninoff
        

  22. #352
    MissJenny

    Re : IA et extermination de l'humanité ?

    Citation Envoyé par Cyrano Voir le message
    effectivement et on ne voit pas comment un modèle de LLM pourrait ressentir quelque chose comme la faim, la douleur physique ou l'envie de faire pipi, vu qu'il est totalement dépourvu de circuits de neurones associés à des détecteurs physiques de ces quantités. Il ne s'est alimenté qu'à des textes, et donc à la description que font les textes de ces sensations, pas à ces sensations elles mêmes. Qu'il reproduise des textes associés à ces émotions est tout à fait compréhensible donc, ça n'entraine en rien qu'il les ressente vraiment, et c'est même logiquement impossible qu'il le fasse.
    mais pour des choses plus complexes comme le plaisir de discuter avec un ami ou au contraire la douleur de la perte d'une relation sentimentale, il n'y a pas besoin de capteurs spécifiques, donc a priori rien ne s'oppose à ce qu'une machine éprouve ces sentiments.
        

  23. #353
    mh34
    Responsable des forums

    Re : IA et extermination de l'humanité ?

    Citation Envoyé par MissJenny Voir le message
    mais pour des choses plus complexes comme le plaisir de discuter avec un ami ou au contraire la douleur de la perte d'une relation sentimentale, il n'y a pas besoin de capteurs spécifiques, donc a priori rien ne s'oppose à ce qu'une machine éprouve ces sentiments.
    OK, par quel circuit? par quoi on remplace les neurotransmetteurs?
    Dernière modification par mh34 ; Aujourd'hui à 19h49.
    "Музыки хватает на всю жизнь, но целой жизни не хватает для музыки"
    Rachmaninoff
        

  24. #354
    MissJenny

    Re : IA et extermination de l'humanité ?

    Tu veux sans-doute parler de circuit de la récompense? Il n'y a peut-être pas d'analogue matériel dans la machine mais ce fonctionnement pourrait être simulé. Enfin je trouve aussi que c'est difficile à croire mais on ne peut jurer de rien.
        

Page 12 sur 12 PremièrePremière 12

Discussions similaires

  1. Confirmation identification & recherche de solution pour extermination
    Par invite2cdbb15f dans le forum Identification des espèces animales ou végétales
    Réponses: 9
    Dernier message: 06/08/2020, 17h20
  2. RG et humanité...
    Par invite27947033 dans le forum Physique
    Réponses: 6
    Dernier message: 11/12/2010, 21h00
  3. Réponses: 7
    Dernier message: 23/03/2006, 18h04