Oualos si tu ne comprends pas ce qu'est un exemple général ni le sens de ma phrase: dans l'ensemble de tout ce qui peut-être mesuré, le degré de fiabilité de l'humain varie de 0 à 100 % et également celui de l'IA. Quand un item quelconque dans cet ensemble est mesuré avec une fiabilité de 75% par l'IA et 50 % par l'humain, il va de soi que le job est mieux fait par la machine et cela même si une partie des résultats erronés de la machine n'auraient pas amené d'erreur chez l'être humain.
Sans questions il n'y a que des problèmes sans réponses.
Tu peux calculer des pourcentages de réussite sur une tâche précise comme reconnaitre une cellule cancéreuse sur une image ou le toit d' un bâtiment sur une photo. Mais ça n'a aucun sens sur une tâche complexe comme discuter sur un forum ou gérer une entreprise.
Outre le fait que ce n'est pas spécialement ce qu'on demande aux IAs, c'est une affirmation curieuse.Envoyé par Archi3
Il y a de nombreux forums où la qualité des contributeurs est évaluée. Un des plus efficaces est stackoverflow où justement, on note le pourcentage de réponses données qui ont été validées par la communauté comme pertinente.
Pour ce qui est de la gestion des entreprise, elle est aussi régulièrement évaluée par différents mécanismes et le plus commun est la valorisation boursière qui mesure justement la confiance que l'ensemble des investisseurs ont dans le future de la boite dont sa gestion.
Il existe d'autres notations notamment celles basée sur l'ESG : https://fr.wikipedia.org/wiki/Critèr...de_gouvernance
Quand à mesurer la capacité des IAs sur les tâches plus complexes que reconnaitre une image, on a là aussi différents benchmarks. L'un des plus récents est là : https://arxiv.org/abs/2311.12983
Et il a justement été conçu parce que certains des précédents étaient devenu trop faciles pour les IAs.
ah bon? ben c'est pas évident quand je lis ça
évidemment tu peux inventer n'importe quel test (y compris un jugement par des pairs) et en faire une note. Mais ce n'est pas plus une mesure objective que la note sur Tripadvisor n'est une mesure objective de la qualité d'un restaurant.c'est une affirmation curieuse.
Il y a de nombreux forums où la qualité des contributeurs est évaluée. Un des plus efficaces est stackoverflow où justement, on note le pourcentage de réponses données qui ont été validées par la communauté comme pertinente.
répondre à un questionnaire normalisé utilisé en benchmark fait partie de ce que j'appelle "une tâche précise".Quand à mesurer la capacité des IAs sur les tâches plus complexes que reconnaitre une image, on a là aussi différents benchmarks. L'un des plus récents est là : https://arxiv.org/abs/2311.12983
Et il a justement été conçu parce que certains des précédents étaient devenu trop faciles pour les IAs.
Sunyata n'est pas une référence scientifique valide.
Comment tu appelles les choses à coup d'affirmations gratuites, fausses et sans références n'a pas plus de valeur que de citer Sunyata.
On va arrêter là vu le niveau.
D'ailleurs j'ai fait un petit benchmark personnel, je demande une image de "une carotte qu'on a à moitié plongée dans la farine après l'avoir humectée et ressortie". Je suppose que tout le monde visualise une carotte orange dont la moitié inférieure est couverte de poudre blanche, mais ça demande une certaine visualisation chronologique du processus réel pour imaginer le résultat. Je vous laisse essayer avec votre générateur d'images favori.
donc tu m'autorises à rectifier quand il poste des trucs incorrects ?
On devrait faire cela ici: je suis sûr que certains seraient surpris du résultat.
Tu nous montreras ce que tu as dessiné manuellement de ton côté et on fait un vote pour savoir qui des deux à produit le résultat le plus réalisteJe vous laisse essayer avec votre générateur d'images favori
https://th.bing.com/th/id/OIG.aEWFlY...Iyif?pid=ImgGn
Sans questions il n'y a que des problèmes sans réponses.
S'il te plait, peux-tu donner l'échange qui a mené à cette image.Tu nous montreras ce que tu as dessiné manuellement de ton côté et on fait un vote pour savoir qui des deux à produit le résultat le plus réaliste
https://th.bing.com/th/id/OIG.aEWFlY...Iyif?pid=ImgGn
Jusqu'ici tout va bien...
Mégalol, reconnaitre une lésion cancéreuse sur une image serait donc une tâche non complexe ?
La réponse n'est pas binaire comme "c'est un toit de bâtiment" vs 'ce n'est pas un toit de bâtiment".
Gérer une entreprise, comme grader un cancer, cela peut se faire en établissant un score basé sur plusieurs critères.
Dernière modification par Flyingbike ; 23/12/2023 à 11h28.
La vie trouve toujours un chemin
Une carotte avec de la farine collée sur une moitié
Sans questions il n'y a que des problèmes sans réponses.
ce n'est pas le benchmark que j'ai proposé, le problème avec le mien est qu'il faut imaginer le résultat à partir de l'action proposée.
je parlais plutot de la complexité à donner un score au résultat qui permette de donner des pourcentages.Mégalol, reconnaitre une lésion cancéreuse sur une image serait donc une tâche non complexe ?
oui mais c'est subjectif.
Gérer une entreprise, comme grader un cancer, cela peut se faire en établissant un score basé sur plusieurs critères.
Ah oui, mais là, tu lui as donné le résultat.
Il faut lui demander "Une carotte trempée à moitié dans de l'eau puis dans de la farine" ou un truc du genre.
Ce qui aurait donné un (non) résultat qui aurait conforté archi.
Mais on est très loin du sujet initial qui en fait n'est pas si intéressant que ça sauf sur des attaques sur des failles humaines.
Jusqu'ici tout va bien...
C'est un peu lié, dans la mesure où si une IA est incapable de prévoir le résultat de tremper une carotte dans l'eau puis dans la farine, quelle chance a-t-elle de coordonner efficacement un action qui menace réellement la société ?
de façon amusante j'ai demandé à chat-GPT en croyant qu'il était maintenant branché à Dall-E , mais il doit falloir la version payante. Il m'a dit qu'il ne pouvait pas faire d'image mais il m'a conseillé de faire l'expérience de la façon suivante :
bon si il commence par rentrer un mot de passe sur le clavier avant d'allumer l'ordinateur, je crois qu'on ne craint pas grand choseUser
peux tu me produire l'image d'une carotte qu'on a à moitié plongée dans la farine après l'avoir humecte et ressortie ensuite ?
ChatGPT
Je suis désolé, mais en tant que modèle de texte, je ne peux pas créer d'images ou de fichiers visuels. Cependant, je peux vous donner des instructions pour créer cette image vous-même ou vous pouvez demander à un graphiste de le faire.
Pour créer cette image :
Prenez une carotte propre et fraîche.
Plongez-la à moitié dans de la farine.
Humectez légèrement la partie immergée de la carotte avec de l'eau à l'aide d'un vaporisateur ou d'un pinceau.
Soulevez la carotte hors de la farine pour laisser apparaître la texture de la farine humide sur la surface de la carotte.
En prenant une photo de ce processus, vous obtiendrez l'image souhaitée. N'hésitez pas à ajuster les détails selon vos préférences artistiques.
@Archi,
peut on avoir le texte exact de la demande ?
Maaaagnifiiiiique ! tout ça n'a aucune importance..
Et une affirmation gratuite et fausse de plus. Pour "Une carotte trempée à moitié dans de l'eau puis dans de la farine" on peut obtenir ça :
oui mais tu as triché, tu as utilisé une requête trop bien formulée !
La vie trouve toujours un chemin
comment une IA devine t'elle de quel genre de carotte il s'agit ? il y a les carottes de glace, de pierre, de fonderie plus sans doute d'autres que je ne connais pas
elle choisit sans doute le plus probable ?
Maaaagnifiiiiique ! tout ça n'a aucune importance..
En fait, c'est encore plus intéressant que ça : parce qu'avec exactement la même requête, on peut avoir une image qui n'a pas grand sens même si elle est factuellement exacte. Voir plus bas.
C'est le problème des IAs si bien décrit par Yann LeCun : elles n'ont pas vraiment une représentation du monde. Ce qui est sans doute à nuancer parce dans pas mal de cas, elles s'en sortent bien quand même.
Mais comme je le disais plus haut, le sujet est plutôt qu'il est dommage que toutes les discussions soient squattées par des gens qui non seulement ne savent rien sur le sujet mais ne les utilisent même pas.
Cela éviterait les énormités du genre "une IA est incapable de prévoir le résultat de tremper une carotte dans l'eau puis dans la farine" comme si c'était une évidence.
Un grand merci à pm42 qui après m'avoir répondu dans un autre fil comme si mon message était stupide, a eu l'amabilité de reprendre quelques jours après ma comparaison avec la technologie de la voiture, même pour la détourner dans son sens.
Je trouve qu'il y a très peu de messages reprenant les avis d'experts dans ce fil. J'avais justement posté un message sur ce sujet sans voir qu'un fil dédié avait été ouvert quelques jours avant.
Je reposte donc ici quelques sources comme l'avis d'un groupe de 30 experts publié sur arXiv, dont voici un extrait :
(La réponse de pm42 était que ces gens raisonnent comme des "gosses de 15 ans", et que c'était "de la SF". Il semble d'ailleurs ignorer que l'armée français étudie actuellement des scénarios de SF comme celui de la trilogie du Problème à Trois Corps de Liu Cixin).Bon nombre de ces risques pourraient bientôt être amplifiés, et de nouveaux risques sont créés, à mesure que les entreprises développent des IA autonomes : systèmes capables de planifier, d'agir dans le monde, et poursuivre des objectifs. [...]
Si nous construisons une IA autonome très avancée, nous risquons de créer des systèmes qui poursuivent des objectifs indésirables. Des acteurs malveillants pourraient délibérément intégrer des objectifs néfastes. De plus, personne ne sait actuellement comment aligner de manière fiable le comportement de l'IA avec des valeurs complexes; plusieurs percées en recherche sont nécessaires.
[...]
Une fois que les systèmes d’IA autonomes poursuivront des objectifs indésirables, intégrés par des acteurs malveillants ou par accident, nous ne serons peut-être pas en mesure de les contrôler. Le contrôle de logiciel est un problème ancien et non résolu : les vers informatiques ont été longtemps capables de proliférer et d'éviter la détection. Cependant, l’IA progresse dans des domaines critiques tels que le hacking, la manipulation sociale, la tromperie et la planification stratégique. Les systèmes d'AI autonome avancés poseront des défis de contrôle sans précédent.
Autres sources :
- Artificial intelligence act
- La Bletchley Summit declaration du G7 et des Nations Unies. Voici un extrait dont une phrase particulièrement intéressante est soulignée à la fin.
Particular safety risks arise at the ‘frontier’ of AI, understood as being those highly capable general-purpose AI models, including foundation models, that could perform a wide variety of tasks - as well as relevant specific narrow AI that could exhibit capabilities that cause harm - which match or exceed the capabilities present in today’s most advanced models. Substantial risks may arise from potential intentional misuse or unintended issues of control relating to alignment with human intent. These issues are in part because those capabilities are not fully understood and are therefore hard to predict. We are especially concerned by such risks in domains such as cybersecurity and biotechnology, as well as where frontier AI systems may amplify risks such as disinformation. There is potential for serious, even catastrophic, harm, either deliberate or unintentional, stemming from the most significant capabilities of these AI models.
Bref, j'aurais tendance à me ranger à leur avis au lieu de me contenter de "les gens ont toujours eu peur des nouvelles technologies"... sans parler de ce qui me paraît évident :
- la vulnérabilité d'internet
- le développement rapide des capacités de l'IA
- l'impact d'internet dans le monde réel.
Je pense qu'il faut prendre en compte ces avis argumentés et arrêter de fausser le débat en disant que ces gens raisonnent comme des gosses, ou sont comme les anglais qui voulaient limiter la vitesse de la voiture à 6km/h.
Les fleurs du cerisier rêvent en blanc les fruits qu'elles ne voient pas.
Du rôle des carottes dans les cyber-attaques majeures. Je ne poursuis pas parce que ce serait grossièrement hors charte.
Rien ne sert de penser, il faut réfléchir avant - Pierre Dac
OUi ben quand le sujet est le risque de cyber-attaque et que les gens finissent par représenter des carottes c'est peut-être qu'elles sont cuites : remarquez, trempées dans l'eau et la farine ça peut faire des beignets.
Les fleurs du cerisier rêvent en blanc les fruits qu'elles ne voient pas.
Éloge de la carotte
En plus ça rend aimable les carottes sans compter que c'est bon pour la peau avec la carotène. Ce qu'on me disait quand j'étais petit et que je rechignais devant une purée de carottes...
En beignets, en salade, dans un tajine, cuites à la vapeur: même les fanes de carottes et la peau se mangent.
celui que je dis : peux tu me produire l'image d'une carotte qu'on a à moitié plongée dans la farine après l'avoir humecte et ressortie ensuite ?
le principe n'est pas de trouver la requête qui te donne un résultat passable, il est juste de tester si l'IA est capable de se représenter correctement les conséquences d'une suite d'opération. Celui de pm42 est mieux que ce que j'ai obtenu avec Dall-E, il n'a pas dit avec quoi il l'a obtenue, mais ce n'est quand même pas l'aspect d'une carotte humide trempée dans la farine. Le sujet étant si on doit craindre une "cyber attaque majeure", ce que je dis c'est que pour faire une attaque majeure, il faut planifier, donc anticiper les conséquences de ses actes, ce qui n'est manifestement pas le cas.
bah pourtant, elle en est incapable sur cet exemple, et c'est manifestement lié à ce que tu rappelles toi même : elles n'ont pas vraiment une représentation du monde, c'est à dire qu'elles n'ont jamais fait d'experience concrète de tremper quoi que ce soit dans quoi que ce soit.
Tiens, la salve habituelle de 3 messages parce que saturer le fil, c'est une façon de cacher qu'on n'a pas d'argument
Les IAs sont largement meilleures
Bon, personne ne semblant avoir compris l’understatementde mon message qui avait pour but de faire cesser de manière souriante cette dérive ridicule de la discussion, et non de la relancer, celle-ci est désormais fermée.
Rien ne sert de penser, il faut réfléchir avant - Pierre Dac
