Fréquence d'utilisation des agents conversationnels

[GBo]

On est d'accord. Mais je reste sur Google Search du coup.
-----

[Archi3]

Ce qui n’est manifestement pas le cas pour toi avec ChatGPT

sauf que je ne converse pas avec chatGPT pour qu'il m'apprenne des trucs utiles, mais pour mieux cerner ce qu'il peut faire ou ne pas faire correctement. Ceux qui font des expériences sur des rats n'attendent pas d'eux qu'ils les guident dans leurs recherches

[Archi3]

Oui, mais c'est pas différent du papier foireux, qui cite d'autres papiers foireux (ce que je vois au quotidien), ou du sujet sur un forum qui se base sur une vidéo youtube daubique.

cela demande à peu près le même circuit de vérification et de crosschecking : quand il n'y a pas de sources ça craint, quand il y en a, ça demande du travail de vérifier si ça ne craint pas (et, ça peut craindre)

bah du coup comme il ne fait que s'alimenter aux mêmes sources qu'on peut trouver par ailleurs, il ne sera pas non plus plus fiable, et en pratique les tests montre qu'il l'est plutot moins avec un risque non négligeable de sortir un gros truc bien absurde ou des références imaginaires qui n'existent pas (ça en théorie ça n'existe pas dans les articles ....)

Si les gens utilisent un moteur de recherche, par exemple, c'est qu'ils n'ont pas de meilleure alternative, donc la question est juste de savoir pour quelles utilisation un agent conversationnel n'a pas de meilleure alternative, et quelle fraction de son activité y correspond, d'où le sondage.

[GBo]

On se demande combien de fois on va lire ici des gens qui expliquent ce que ChatGPT ne fait pas ce pourquoi il n'a pas été conçu faire, n'est pas annoncé comme capable de faire.

Je viens de parcourir le site d'OpenAI, à aucun moment il est dit qu'il n'est pas fait pour être interrogé en standalone sur sa culture encyclopédique, bien au contraire. Par contre il est bien dit que l'entrainement a été terminé début 2022 et qu'on ne peut pas s'attendre à des infos plus fraiches que 2021, ça tout le monde a compris et ce n'est pas ce dont je parlais.

Nulle part il est dit que si tu lui demandes des références d'une affirmation factuelle, il va te répondre des sources plus ou moins inventées, cela EST un problème, au moins 3 personnes se sont fait avoir sur le forum.

En fait ta tactique pour sauver les apparences est simple : à chaque fois qu'on (pas toi) découvre un problème, tu déclares l'incompétence de l'humain aux commandes en inventant que l'on ne s'en sert pas "pour ce pourquoi il a été conçu". ChatGPT n'aurait qu'à répondre "je ne sais pas faire" et on n'en parleras plus. A lieu de ça, il fait même des multiplications d'entiers longs sans broncher, et il se plante, même en GPT-4 comme tu as fait semblant de ne pas le remarquer, bonjour l'ambiance... Où est-il marqué sur le site qu'il ne sait pas faire des multiplications de grands nombres ? Nulle part.
Il faut être doctorant en LLMs pour le savoir.

Pour le reste j'ai signalé ton message pour dénigrement de mes facultés de NGI.

[LogOut]

ça a remplacé mon utilisation de stackoverflow

[Liet Kynes]

Nulle part il est dit que si tu lui demandes des références d'une affirmation factuelle, il va te répondre des sources plus ou moins inventées, cela EST un problème, au moins 3 personnes se sont fait avoir sur le forum.

Dès lors que les liens proposés sont des infos générées, il est normal que ces infos aient les mêmes limites que toutes celles générées par le chatBOT, c'est à dire un degré de cohérence avec la réalité relatif, c'est bien à l'utilisateur de vérifier et de chercher si dans ce qui est généré il y a quelque chose d'exploitable.
Des benchmarks vont certainement sortir avec des taux de fiabilité en fonction de typologies de requêtes d'ici peu : sur des sites putaclic probablement mais aussi ce qui peu être intéressant ce sera l'étude de ces typologies de requêtes.
Ce qui est mal accepté c'est que pour une typologie de requête donnée on arrive à un taux de cohérence de 95 % on trouvera l'IA peu fiable si elle génère des incohérences qui sont pour un humain très évidentes à voir: la tendance est alors de faire un biais de généralisation de ces erreurs choquantes à nos yeux, on hiérarchise la pertinence d'un système en référence au sens commun, ce qui dans ce contexte est certainement un biais.

[pm42]

Dès lors que les liens proposés sont des infos générées, il est normal que ces infos aient les mêmes limites que toutes celles générées par le chatBOT

Déjà, l'affirmation de GBo est factuellement fausse. C'est sur la page d'accueil de ChatGPT à "Limitations" : https://openai.com/blog/chatgpt

ChatGPT sometimes writes plausible-sounding but incorrect or nonsensical answers. Fixing this issue is challenging, as: (1) during RL training, there’s currently no source of truth; (2)

Donc déjà, demander des "sources" revient à ignorer ces 2 phrases et ce qui a été expliqué longuement et plusieurs fois sur les mécanismes d'apprentissage.

Ou on peut aussi dire "nulle part il n'est dit que quand tu ouvres un compte email, tu puisses recevoir des spams".
"Nulle part il n'est dit que quand tu achètes une revue chez le libraire, cela puisse être de la patascience".
"Nulle part il n'est dit que quand tu poses une question sur FS, tu puisses avoir une réponse par quelqu'un de très sur de lui mais que en fait te racontes n'importe quoi".

On reste encore sur cette obsession d'inventer ses propres "critères d'évaluation" qui sont non pertinents, de faire semblant qu'on n'a pas lu tout ce qui a pu être décrit sur le Net et ici sur les limites de la technologie pour ensuite dire "il y a des problèmes".

Bref, si certains n'ont toujours pas compris que oui, il faut faire attention à ses doigts quand on enfonce des clous avec un marteau et se plaignent que ce n'est pas gravé sur le manche et que le vendeur au magasin de bricolage ne leur a pas dit, c'est leur droit mais on peut quand même douter de la pertinence de l'argument.

[GBo]

Le disclaimer que tu as cité est valable pour toute réponse du bot, pas uniquement pour les liens faux dont je parlais spécifiquement. Or les réponses sont majoritairement correctes, alors que les liens de référence (donnés par la version standalone) sont majoritairement non fonctionnels, ce qui témoigne d'un phénomène différent. Le soft devrait pouvoir de réfréner de donner des liens, en plus c'est faisable.

Pour revenir à cette pépite (merci de l'avoir retrouvée):

ChatGPT sometimes writes plausible-sounding but incorrect or nonsensical answers. Fixing this issue is challenging [...]

Moi ça me me fait pense à un marteau qui serait en vente avec la mention, "attention la tête du marteau peut se détacher du manche, pas souvent mais ça arrive. Ce problème est difficile à éviter blah blah... ".
Ce n'est pas parce que le fabricant avertit d'un défaut de conception que ce n'est pas un défaut. L'utilisateur n'est y pour rien. Pour un marteau, il serait retiré du marché. Pour un Chatbot, on ferme les yeux et le valorise XX Milliards de dollars. Je crois que les lendemains de cuite font faire mal (aux investisseurs surtout).

[Archi3]

Mais finalement le sondage semble indiquer que même les fans du forum ne l'utilisent pas vraiment.

D'ailleurs si ils y croyaient tant que ça ils l'utiliseraient pour écrire leurs réponses sur le forum, ce qui n'est manifestement pas le cas, sinon ils seraient bien plus polis et bien moins agressifs

[agitateur]

Je crois que les lendemains de cuite font faire mal (aux investisseurs surtout).

Il paraitrait que depuis l'affaire Silicon bank, demain soit déjà aujourd'hui.
Je veux dire pour les projets dont le ROI est sans cesse reporté à plus tard, mais qu'en attendant que ce jour béni arrive, il faut continuer à cracher au bassinet de l'invest'.

[pm42]

Les arguments sur les investisseurs sont :
- gratuits
- non scientifiques
- relèvent d'une forme de populime
- et très, très drôle quand on sait ce que l'IA est capable de faire dans ce domaine

C'est même encore plus drôle que ça parce que si quelqu'un est sur de lui sur le sujet, il est très facile d'investir contre l'IA.
Je peux lui donner les instruments financiers et lui permettre de faire x10 à x100 en quelques années.

P.S: quelqu'un ici qui en parle a une formation en finance, connait des investisseurs, sait comment ça fonctionne #####

[LogOut]

Là ou chat gpt est très fort c'est pour traduire le langage naturel équivoque en langage informatique donc non-équivoque. On voit qu'il est très fort sur les langages web comme html et js par exemple, il est moins sur d'autres langages

Les applications low code / no code telles Wordpress, powerBI ont connu un grand succès car elles abaissent le niveau de compétence technique nécessaire dans le dialogue avec la machine et accélèrent ainsi considérablement la production.

GPT permet de franchir une étape supplémentaire dans le dialogue avec la machine, Microsoft va très rapidement rentabiliser son investissement dans openAI avec son office Copilot à mon avis.

[vgondr98]

Quant à croire qu'on puisse pondre du code important et structuré (autre que des "snippets" déjà trouvables dans le web) à coup de requêtes en anglais naturel, quelle blague. Ils n'ont jamais codé pour dire ça !

Personnellement, j'ai utilisé ChatGPT pour écrire un script python afin de croiser des fichiers entre eux. J'ai juste dû fournir la structure des fichiers et sur quelles colonnes devaient se faire le croisement.
ChatGPT m'a proposé un code fonctionnel

# -*- coding: utf-8 -*-
with open("/mnt/beegfs/scratch/svc_hpc_biopath/script/COHERENCE_Variant/variantsAlamutplus.vcf", "r") as f1, open("/mnt/beegfs/scratch/svc_hpc_biopath/script/COHERENCE_Variant/exportAlamutMoinsVCFamel.txt", "r") as f2:
    # saut des entêtes
    f1.readline()
    f1.readline()
    f1.readline()
    f2.readline()

    # création d'un dictionnaire à partir du deuxième fichier
    dict_f2 = {}
    for line in f2:
        print(line)
        values = line.strip().split("\t")
        if len(values) >= 12:
            gene, chrom, assembly, gNomen, transcript, cNomen, pNomen, Class, chrom2, offset, ref, alt = values
            dict_f2[(chrom, offset, ref, alt)] = (gene, gNomen)

    # croisement des deux fichiers
    for line in f1:
        chrom, pos, _, ref, alt, _, _, info = line.strip().split("\t")
        gNomen, Class = [i.split("=")[1] for i in info.split(";") if "=" in i]

        if (chrom, pos, ref, alt) in dict_f2:
            gene, gNomen2 = dict_f2[(chrom, pos, ref, alt)]
            print(f"{gene}\t{chrom}\t{pos}\t{ref}\t{alt}\t{gNomen}\t{gNomen2}\t{Class}")

Voilà le code qu'il m'a proposé. Les seuls ajustements qu'il a fallu faire c'est d'ajouter # -*- coding: utf-8 -*- pour éviter l'erreur : SyntaxError: Non-UTF-8 code starting with '\xea' in file (Cela il aurait pu le prévoir car c'est lui qui a ajouté les commentaires dans le code qu'il m'a proposé)
et d'ajouter la condition if len(values) >= 12: pour éviter l'erreur : ValueError: not enough values to unpack (expected 12, got 8) (Cela, il n'aurait pas pu le prévoir car je ne lui avais pas transmis d'exemple de ligne où il manquait des infos).

Sinon, j'ai fait les requêtes en français.

[GBo]

On est d'accord, du coup je pense qu'on ne parle pas du même genre de soft : je parlais de logiciels de centaines de milliers de lignes en langage C (voire en intrinsics), qui permettent à nos téléphones cellulaires de passer des comms, c'était mon ancien métier avant de faire coder les autres... Yves connait bien aussi il me semble.
On verra bien, je souhaite le meilleur à Microsoft en tout cas ! #########