IA et forum public

[pm42]

je l'ignorais en effet. Pourquoi n'est-ce pas signalé dans le texte?

Parce qu'ils marchent sur des oeufs et qu'ils ont très, très peur d'une campagne de presse les détruisant. On n'en est déjà pas loin.
Yann le Cun s'en plaint justement : il dit que la recherche est obstruée par des considérations qui se disent "éthiques" mais qui ne sont en fait que l'idéologie de certain (un peu comme les cellules souches aux US). Je le cite de mémoire ceci dit.

Donc s'ils précisent "oups, on vous a modéré mais en fait" ils vont se faire taper des 2 cotés, en se faisant accuser d'atteinte à la liberté d'expression par certains et par d'autres ne pas pas assez insister sur "oui mais c'est mal de dire ça".
-----

[mh34]

Parce qu'ils marchent sur des oeufs et qu'ils ont très, très peur d'une campagne de presse les détruisant. On n'en est déjà pas loin.
Yann le Cun s'en plaint justement : il dit que la recherche est obstruée par des considérations qui se disent "éthiques" mais qui ne sont en fait que l'idéologie de certain (un peu comme les cellules souches aux US). Je le cite de mémoire ceci dit.

Donc s'ils précisent "oups, on vous a modéré mais en fait" ils vont se faire taper des 2 cotés, en se faisant accuser d'atteinte à la liberté d'expression par certains et par d'autres ne pas pas assez insister sur "oui mais c'est mal de dire ça".

Compris
..........

[oualos]

J'ai du mal à suivre votre discussion.
On a déjà du mal à moraliser les réseaux sociaux alors comment moraliser une IA qui ingurgite des milliards de données ?
La différence est que des propos racistes ou sexistes sur les réseaux sociaux visent une influence sur des internautes qui pensent ou pourraient penser pareil alors que chatGPT ne cherche pas à diffuser quoi que ce soit.
De plus les réponses varient ou peuvent varier d'une fois sur l'autre quand on re-pose la même question plus tard: c'est bien la preuve que chatGPT n'a aucune conviction.
Il y a un filtre pour que ce qui sort soit éthiquement correct -ou politiquement correct si vous préférez ce terme- et ce filtre apparemment fonctionne très bien.

[Liet Kynes]

C'est étonnant que personne n'ai fait un rapprochement entre le thème de fond de cette discussion et Cicero qui s'est hissé dans le top 10 au jeu diplomatie.

https://www.lebigdata.fr/ia-stratego-diplomacy

Extrait de l'article :

"Ce jeu requiert un sens de la manigance, un talent pour la trahison et les fausses promesses et un véritable machiavélisme. La complexité ne réside pas dans la carte du monde ou les pions, mais dans la stratégie autour des accords passés. De plus, les joueurs doivent communiquer verbalement et convaincre de la sincérité de leurs intentions."

Le jour ou une IA ferra son apparition sur futura il est possible qu'elle passe totalement inaperçue

[Archi3]

Justement, sur ce point ce serait souhaitable qu'il y ait une différence avec les humains...d'un agent conversationnel on attendrait ( enfin moi...mais je me trompe peut-être) des réponses neutres. Il s'avère que ce n'est pas le cas.

ta remarque illustre pile poil le problème. D'abord comme pm42 l'explique, le biais n'est pas dans le corpus utilisé qui contient des trucs très variés; Il est dans la couche supplémentaire qu'on a rajouté pour le filtrer et éviter qu'il sorte des propos jugés inacceptables (sexistes, racistes etc ...)
ca illustre un deuxième problème : un humain neutre, ça n'existe pas. On ne peut pas être humain sans avoir une culture, des références, une famille, des opinions. Donc un outil qui imite l'humain, en étant neutre et non biaisé, ça n'existe pas non plus. Parce que la plupart des concept humains n'ont aucune base objective solide mais résultent de conventions morales et sociales avec une part de subjectivité. Donc une intelligence humanoïde "neutre", ça ne peut simplement pas exister.

Et ça conduit à un troisième problème : le problème n'est pas l'IA mais ce que les humains projettent dedans : en "fantasmant" une IA très puissante mais "très objective", ils recréent un mythe du héros mythologique surhumain , en qui ils vont avoir toute confiance. Le problème principal n'est pas pour moi que chatGPT ait donné des références, des calculs ou des citations complètement fausses : le problème est que des humains "normaux", comme toi, pm42, ou Yves95210 avez de toute bonne foi affiché des citations de chatGPT en affichant votre confiance que "c'était une preuve qu'il savait faire", sans même penser à vérifier que ce qu'il disait était juste. Et pourtant pm42 connait bien les warnings, il n'arrête pas de les rappeler, mais il a quand meme été capable de dire qu'une multiplication faite par GPT-4 était juste alors qu'elle était fausse...

donc que penser de ce qu'un outil faisant "référence", utilisé par le grand public qui a a priori un sens critique bien moins développé que des participants au forum, pourrait donner ?

c'est normal que les gens balisent à voir une biographie bidon les accusant de pédophilie etre mise en ligne par une "super intelligence artificielle", qu'on se représente douée de capacités hors du commun ... et donc forcément fiable, non ?

[GBo]

Cela aussi est faux puisqu'on l'a justement fait en partie pour labelliser. Et ensuite, on peut se servir d'une IA pour filtrer ce qui va être donné à l'entrainement à une autre IA. C'est en très simplifié une utilisation du principe de l'apprentissage auto-supervisé.
Voir le message #68.

D'une part il n'y avait rien de faux dans mes explications précédentes, je ne parlais pas de "base de données" au sens strict de l'informatique classique, mais de "base de connaissances", sans préciser qu'elle était implicite dans les paramètres pour ne pas alourdir l'explication. Lex Fridman, prof. d'IA au MIT, parle de ChatGPT représentant le background knowledge that is contained in the Internet", je suppose que tu ne trouverais rien à redire, parce que c'est lui et pas moi.

D'autre part, tu penses vraiment que des humains ont relu par exemple les 6 milliards de mots de WebText2 qui a servi de dataset d'entrainement à GPT-3 ? On aimerait avoir tes sources. Car cela fait l'équivalent de 33000 bouquins rien que pour ce dataset. En quoi a consisté exactement la labélisation humaine dans cet exemple ?

[GBo]

Erratum 19 Milliards de tokens de WebText2, ça fait plus de 70000 bouquins. A fortiori.
Des humains, relire un à un les posts de Reddit de 3 likes et plus ?

[polo974]

Je pense qu'une partie du corpus est quand même un peu orienté. Par exemple souvent quand je fouille wiki pour autre chose que du pur technique/scientifique (dur), je vais lire (comme je peux (merci les traducteurs auto)) les pages dans d'autres langues et j'y découvre d'autres points de vue.

Pour le moment, j'ai joué (très peu) avec chatgpt3 soit pour du technique pur, soit pour de la déconnade pure.
Le second n'étant marrant qu'un temps, je ne vais pas flooder le fil correspondant...
Le côté usage technique est prometteur mais il faut rester attentif.

Le système (c'est pas juste UNE ia) sort des réponses qui sont une voie (parfois en impasse) qu'il faut prendre avec prudence, ou même carrément lui demander de trouver autre chose (parfois avec insistance (ou bien je n'ai pas "trouvé les bons mots")).

Pour revenir au sujet de l'ia dans un forum:
Utiliser une ia pour réguler un forum, ça existe déjà et ça doit être plus performant que les règles anti-spam/flood usuelles (qu'il vaut mieux quand même garder). Ça peut aussi être utilisé en prémoderation ciblée. Le dernier mot revenant à nos chers modos en chair et en os (enfin, je crois...).
Utiliser une ia pour répondre automatiquement est techniquement facile, mais la pertinence des réponses n'est actuellement absolument pas garantie (les notres non plus, ok...).
Utiliser une ia pour animer (positivement et de façon (quasi) autonome) un forum, ça doit être nettement plus compliqué...

[ArchoZaure]

Mais l'outil n'imite pas l'humain... il donne l'illusion de fonctionner comme lui.

[Liet Kynes]

D'accord mais dans ce cas ne pensez-vous pas qu'un pipotron ça reste un pipotron, quel que soit sa puissance ou le raffinement dans son maniement ?

Dés que certaines phrases générées sont pertinentes pour l'utilisateur, rien ne l'empêche de se les approprier, c'est un peu le principe des citations et des proverbes.

[ArchoZaure]

Mais l'outil n'imite pas l'humain... il donne l'illusion de fonctionner comme lui.

Pour préciser.
D'ailleurs ça se voit assez rapidement étant donné "sa mémoire de poisson rouge" (expression bine entendu car un poisson rouge a plus de mémoire que GPT) qui l'empêche de suivre une discussion sans passer pour un gogol incapable de se souvenir des échanges précédents.
C'est pas moi qui le dit (je le dis à ma manière il est vrai ) mais ceux qui ont testé les fonctionnalités de GPT4.

[Liet Kynes]

Mais l'outil n'imite pas l'humain... il donne l'illusion de fonctionner comme lui.

Là c'est plus relatif, le fonctionnement a été décrit dans pas mal de discussions ici et il est souvent très difficile de distinguer des différences entre humain et les process utilisés: on ne sais pas très bien comment nous "fonctionnons"pour produire et traiter l'information.

[ArchoZaure]

Là c'est plus relatif, le fonctionnement a été décrit dans pas mal de discussions ici et il est souvent très difficile de distinguer des différences entre humain et les process utilisés: on ne sais pas très bien comment nous "fonctionnons"pour produire et traiter l'information.

Oui pour un "One Shot".
Mais si vous discutez avec lui, étant donné sa capacité maximale par session qui est de, je ne sais plus mais genre 60 000 mots, vous allez vous rendre compte qu'au delà de cette limite que vous avez affaire à un "abruti".
Ça peut faire "illusion" mais une fois cette limite dépassée on voit "la triche" (amnésie garantie...)
Il ne fonctionne donc manifestement pas comme le ferait un cerveau humain... qui est lui illimité (à peu de choses près ).

[pm42]

Je pense qu'une partie du corpus est quand même un peu orienté. Par exemple souvent quand je fouille wiki pour autre chose que du pur technique/scientifique (dur), je vais lire (comme je peux (merci les traducteurs auto)) les pages dans d'autres langues et j'y découvre d'autres points de vue.

Tu peux faire la même chose en lui posant la question dans d'autre langues.
Mais oui il y a des biais dans tous les corpus et c'est vrai indépendamment de tout.

Si tu lis la presse française, américaine, chinoise et russe les points de vue les plus fréquents vont être très différents.
Certains n'apparaîtront même pas dans une langue alors qu'ils seront fréquents dans une autre.

[Archi3]

Il faut dire et redire qu'un agent conversationnel n'a pas de connaissance du monde réel mais uniquement des textes qu'il a ingéré, et que donc sa connaissance n'est qu'à la mesure de la statistique du contenu des textes (qui ne sont évidemment pas totalement décorrelés du monde réel bien sûr mais ne s'y identifient pas non plus).

Le fil "rions avec chatGPT", outre de faire sourire, donne aussi un bon aperçu des biais, et Archozaure est très inventif pour les trouver : par exemple il connait tous les jeux même si ils n'existent pas : on peut penser que vu que les gens ne postent que des questions sur des jeux qui existent sur internet, il a trop peu d'exemples de réponse qui dit "le jeu n'existe pas" pour en produire : comme ce type de réponse n'existe pas, tous les jeux existent, c'est aussi simple que ça. Il n'a évidemment jamais joué à rien et n'a même aucune idée de ce qu'est un jeu à part par les corrélations avec d'autres phrases décrivant les règles (donc logiquement les règles des jeux "fictifs" seront inspirées de règles réelles, vous pouvez l'interroger sur le "marteau prisonnier" par exemple) .


Ses réponses seront bien évidemment guidées par les questions mais ça ne veut pas dire qu'il y aurait des questions dont la formulation assure que se réponse n'est pas biaisée. Il n'y a aucun critère de ce genre. La seule chose qu'on puisse dire, c'est que telle question tend à fournir telle réponse, mais il n'y a pas de critère de vérité autre que le fait que ce genre de réponse se retrouve souvent sur le net - ce qui n'assure en rien qu'elle soit pertinente pour le cas considéré. Donc en aucun cas il ne peut être considéré comme une "autorité compétente".

[Liet Kynes]

Ce qu'il faut retenir se situe essentiellement dans ce qui est dit et répété à propos les éléments de contextes, à savoir qu'il faut enrichir. En plaçant le minimum d'éléments l'IA génère quelque chose qui est correcte dans la limite des choix que sa modération permet.
Si une IA devait "participer" à cette discussion, sans l'historique exhaustif de toutes les conversations que les membres ont déjà eut , elle n'aurait pas tout les éléments de contexte nécessaires. Chaque acte de modération effaçant des parties de la discussion entrainant une perte de contexte également: c'est vrai aussi pour un nouveau membre qui prendrait la discussion en cours.

[Archi3]

En plaçant le minimum d'éléments l'IA génère quelque chose qui est correcte dans la limite des choix que sa modération permet.

sauf que le but d'un forum, ce n'est pas d'orienter les autres à dire ce qu'on a envie qu'ils disent, mais d'échanger des opinions ....

[Liet Kynes]

sauf que le but d'un forum, ce n'est pas d'orienter les autres à dire ce qu'on a envie qu'ils disent, mais d'échanger des opinions ....

Cela dépend du contexte :

Dans un forum d'opinions, on échange des opinions construites librement, dans un forum scientifique on s'intéressera plus à la validité d'assertions au regard de sources publiées dans des revues scientifiques à comité de lecture -> si il y a orientation c'est dans ce sens.

[mh34]

Ce qu'il faut retenir se situe essentiellement dans ce qui est dit et répété à propos les éléments de contextes, à savoir qu'il faut enrichir. En plaçant le minimum d'éléments l'IA génère quelque chose qui est correcte dans la limite des choix que sa modération permet.
Si une IA devait "participer" à cette discussion, sans l'historique exhaustif de toutes les conversations que les membres ont déjà eut , elle n'aurait pas tout les éléments de contexte nécessaires. Chaque acte de modération effaçant des parties de la discussion entrainant une perte de contexte également: c'est vrai aussi pour un nouveau membre qui prendrait la discussion en cours.

C'est vrai, donc les réponses de l'agent conversationnel, finalement, dépendent beaucoup des humains qui l'ont programmé et ont la "main dessus" ( puisqu'il existe une modération).
C'est pour cette raison que connaitre les biographies dans les grandes lignes de ces humains ainsi que leur nationalité ( donc l'élément sociétal/culturel) est un élément essentiel pour juger des réponses ( outre évidemment la connaissance des questions posées...), tout simplement au vu de la quantité et de la variété des réponses directes que cet agent conversationnel va fournir à des centaines de milliers de gens. ( ce qui n'est pas le cas sur un forum, heureusement!)
La preuve, la tentative très marquée qu'a faite l'IA de modération ( merci encore pm42 de m'avoir appris l'existence de cette IA de modération) de me détourner d'étudier la pensée hitlérienne, en "oubliant" que c'est la connaissance et pas l'ignorance qui protège

[Archi3]

Cela dépend du contexte :

Dans un forum d'opinions, on échange des opinions construites librement, dans un forum scientifique on s'intéressera plus à la validité d'assertions au regard de sources publiées dans des revues scientifiques à comité de lecture -> si il y a orientation c'est dans ce sens.

il m'arrive souvent de chercher des références avant de répondre, par un moteur de recherche, et de répondre avec mes mots, en citant la référence. Si je ne suis pas capable de formuler la réponse avec mes propres mots, il y a un grand risque que je ne l'ai pas comprise, et donc que je puisse faire un contresens en citant la référence : donc je préfère m'abstenir de répondre.

Quel interêt de remplacer ma réponse avec celle d'un agent conversationnel dont je ne peux pas juger de la fiabilité ? pour moi, aucun.

Et tu n'as pas répondu je crois : si tu postes en citant un message d'un agent conversationnel, à qui doit on répondre ?

[Liet Kynes]

C'est vrai, donc les réponses de l'agent conversationnel, finalement, dépendent beaucoup des humains qui l'ont programmé et ont la "main dessus" ( puisqu'il existe une modération).
C'est pour cette raison que connaitre les biographies dans les grandes lignes de ces humains ainsi que leur nationalité ( donc l'élément sociétal/culturel) est un élément essentiel pour juger des réponses ( outre évidemment la connaissance des questions posées...), tout simplement au vu de la quantité et de la variété des réponses directes que cet agent conversationnel va fournir à des centaines de milliers de gens. ( ce qui n'est pas le cas sur un forum, heureusement!)
La preuve, la tentative très marquée qu'a faite l'IA de modération ( merci encore pm42 de m'avoir appris l'existence de cette IA de modération) de me détourner d'étudier la pensée hitlérienne, en "oubliant" que c'est la connaissance et pas l'ignorance qui protège

La modération des agents conversationnels et aussi dictée par les lois en vigueur, variable suivant les états, il y a aussi un problème à gérer entre les règles d'éthiques des diffuseurs de l'agent conversationnel et l'efficience de celui ci : https://mfouquenet.medium.com/m%C3%A...4t-cace0efccec
"Dans la même logique, si un programme n’est pas correctement nourri de jeux de données et du vocabulaire utilisés par les militants extrémistes, il ne pourra pas en déceler de traces dans les commentaires. En cela, le choix de départ des équipes qui éduquent ces intelligences artificielles est primordial."

[Liet Kynes]

Quel interêt de remplacer ma réponse avec celle d'un agent conversationnel dont je ne peux pas juger de la fiabilité ? pour moi, aucun.

Et tu n'as pas répondu je crois : si tu postes en citant un message d'un agent conversationnel, à qui doit on répondre ?

Tu peux enrichir ta réponse en t'aidant de l'agent conversationnel, qui va pouvoir éventuellement te donner des infos que tu ignores ou auquel tu n'as pas songé: le truc important étant de vérifier ces compléments avant de se les approprier.

Si je poste un message en citant un message d'un agent conversationnel, c'est que je me suis approprié l'info et que je l'ai validé donc tu me réponds. Si quelqu'un diffuse des messages générés par IA et qu'il ne comprends pas la teneur de son message il serra détectable en fonction du niveau de jugement des autres membres.

[pm42]

La preuve, la tentative très marquée qu'a faite l'IA de modération ( merci encore pm42 de m'avoir appris l'existence de cette IA de modération) de me détourner d'étudier la pensée hitlérienne, en "oubliant" que c'est la connaissance et pas l'ignorance qui protège

Tu remarqueras que Mein Kampf a été interdit de publication en France sans avertissement pendant très longtemps et en pratique pas réédité.
La question est vraiment purement sociale et comme je te le disais, les gens qui font les IAs seraient plutôt d'accord avec toi mais ils doivent faire avec les normes sociales existantes.

La Chine par exemple vient de publier des règles de conduite pour les IAs génératrices qui doivent "promouvoir les valeurs fondamentales du socialisme" : https://www.theverge.com/2023/4/12/2...-alibaba-baidu

On est vraiment sur des sujets qui relèvent du politique et social.

Dans le même genre, certains se sont plaints que ChatGPT donnait des informations factuellement fausses sur eux. Ce qui est effectivement un sujet.
Mais un prof a publié un article où il s'est au contraire amusé à créer une histoire où il a inventé des trucs, collaboré avec des gens morts depuis longtemps, etc. Cette "créativité" n'est pas possible si on impose de "dire la vérité", terme qui revient parfois dans ce fil sans jamais être défini et en oubliant qu'elle est très mouvante suivant les endroits, époques, individus...

https://medium.com/asecuritysite-whe...t-38ea25ae979d

Je pense que la solution serait d'éduquer, d'expliquer que les IA générationnelles ne sont pas là pour dire "la vérité", pas plus qu'on n'attend de Dall-E qu'il crée des images "réelles" quand on lui dit de générer "un homme avec une tête de cheval en smoking fumant le cigare".

Si on accepte cela et qu'il faut toujours valider l'information qu'on reçoit (ceci indépendamment de la technologie), c'est un outil de plus. Si on veut se laisser tromper, ce n'est pas différent de lire Mein Kampf et d'y croire (désolé pour le point Godwin).

On peut également noter qu'on a eu le même débat sur "les gens le croient parce que c'est écrit dans le journal, dit à la télé, l'ont vu sur Facebook, etc".
Par contre, je trouverais intéressant d'avoir une IA qui me lirait toute la presse mondiale et me présenterait de façon synthétique les différents points de vue sur un sujet.
C'est sans doute possible à terme et à titre personnel, j'apprécierais de pouvoir élargir mon horizon sans avoir à devoir aller chercher l'information pas forcément accessible (langue, abonnements multiples, temps nécessaire).

[ArchoZaure]

Je pense que la solution serait d'éduquer, d'expliquer que les IA générationnelles ne sont pas là pour dire "la vérité", pas plus qu'on n'attend de Dall-E qu'il crée des images "réelles" quand on lui dit de générer "un homme avec une tête de cheval en smoking fumant le cigare".

Pourtant la pub va bon train à grand coups de "ouah le GPT4 il passe les examens pour entrer dans les écoles prestigieuses !".
Ou alors vous-même ici sur ce forum qui vantez la grande précision de GPT4 à savoir coder des choses équivalentes à ce que vous auriez fait vous-même.

Qu'est-ce qu'il y a de plus véridique qu'un programme ou un test d'entrée dans une grande école ?

Double langage ?
Ou finalement certains domaines comme le chat seraient, finalement et contrairement à ce qu'on attendait du "produit", pas ceux qu'on peut exploiter sereinement ?

[JPL]

Un grand nettoyage a été fait.

[Bounoume]

La Chine par exemple vient de publier des règles de conduite pour les IAs génératrices qui doivent "promouvoir les valeurs fondamentales du socialisme" : https://www.theverge.com/2023/4/12/2...-alibaba-baidu

Logique! D'autres vont suivre..... officiellement, ou officieusement.....

"dire la vérité", terme qui revient parfois dans ce fil sans jamais être défini et en oubliant qu'elle est très mouvante suivant les endroits, époques, individus...

LA vérité, ou bien même une assertion intrinsèquement 'Vraie'.... ça peut exister? dans le monde réel?
perso, je ne connais comme 'Vraies' , avec l'aura de l'universalité immanente, que les assertions que j'ai décidé de croire comme telles....
Tout est relatif, dixit un certain Albert.....

[oualos]

Plutôt que de lui faire passer toute une série d'examens et une batterie de tests, je me suis amusé à lui faire produire des choses comme de la poésie.
Je lui ai donné quelques contraintes au départ:
1° Mettre ou faire figurer des termes bien précis que je voulais voir dans le poème
2° Produire un poème sur le mode et dans le style des Fleurs du Mal de Baudelaire

Le résultat est étonnant, je dirais même bluffant.
Je le mets pas ici évidemment...
J'aurais pas été capable de produire cette poésie ce qui montre qu'il a des capacités que je qualifierais de remarquables quand même.

[ArchoZaure]

J'aurais pas été capable de produire cette poésie ce qui montre qu'il a des capacités que je qualifierais de remarquables quand même.

Mais du coup vous êtes bien sûr d'être en mesure de juger de sa qualité ?

[polo974]

Mais du coup vous êtes bien sûr d'être en mesure de juger de sa qualité ?

Même question à propos d'un bon repas, d'un bon vin, ...

"Mais du coup", c'est du sophisme...

[polo974]

Tu peux faire la même chose en lui posant la question dans d'autre langues.
Mais oui il y a des biais dans tous les corpus et c'est vrai indépendamment de tout.

Si tu lis la presse française, américaine, chinoise et russe les points de vue les plus fréquents vont être très différents.
Certains n'apparaîtront même pas dans une langue alors qu'ils seront fréquents dans une autre.

Pour les médias, la plupart du temps, ce ne sont pas des traductions (bien que wiki soit parfois clairement annoncé comme une trad, mais au moins,c'est dit), mais chatgpt a-t-il "lu" différentes langues ou travaille-t-il au travers d'une traduction dans l'interface ?