Ia / glu

[invite6c250b59]

Bonjour,

En lien avec cette réflexion, un autre benchmark en voie de caducité.

En bref et en français, il s'agit d'une série de tâches mesurant la compréhension humaine du langage. La sous-tâche la plus difficile de ce benchmark s'est révélée être d'indiquer à quoi réfère un pronom en fonction des mots. Exemple:

Les policiers ont refusé d'émettre un permis aux manifestants car ils craignaient la violence.
Les policiers ont refusé d'émettre un permis aux manifestants car ils encourageaient la violence.

La performance obtenue serait* légèrement supérieure à un humain moyen (ce qui est généralement moins bien qu'un comité d'expert qui discute chaque exemple), ce qui représente une nette progression (la performance antérieure était nettement sous-humaine pour cette sous-tâche).

La suite? Même programme** que d'habitude.

A+

*c'est très crédible, mais pas encore sur github, donc au conditionnel pour probablement quelques semaines ou quelques mois

**

While boolean(exist(recherche, IA)):
    1. Utiliser les résultats pour améliorer les applications de production de texte    % "deepfake" pour les images
    2. Inventer de nouveaux benchmarks valorisant d'autres sous-habiletés spécifiques plus difficiles         
    3. Inventer de nouveaux réseaux capables de bien performer à ces benchmarks
    4. Intégrer les performances d'un maximum de réseaux dans une entité logique la plus petite possible

***
-----

Publicité

[polo974]

Oui, mais en juin 89, c'est qui c'est qui a écrasé qui avec des chars ? ? ?

Et voilà, si on colle des préjugés à l'IA, on est foutus...

[invite6c250b59]

Oui, mais en juin 89, c'est qui c'est qui a écrasé qui avec des chars ? ? ?

Mais oui, les policiers qui encourageaient la violence, c'est pas ça la réponse?

Et voilà, si on colle des préjugés à l'IA, on est foutus...

C'est clairement un problème. D'un autre côté, on ne peut pas comprendre les humains si on ne connait pas un minimum leurs préjugés courants.

[invite6486d7bd]

Les policiers ont refusé d'émettre un permis aux manifestants car ils craignaient la violence.
Les policiers ont refusé d'émettre un permis aux manifestants car ils encourageaient la violence.

La performance obtenue serait* légèrement supérieure à un humain moyen (ce qui est généralement moins bien qu'un comité d'expert qui discute chaque exemple), ce qui représente une nette progression (la performance antérieure était nettement sous-humaine pour cette sous-tâche).

Quelle performance ?
La première phrase pourrait sembler non ambiguë, si on se base sur le sens commun.
Mais elle pourrait l'être avec un peu d'imagination.

La deuxième phrase est elle manifestement ambiguë lorsqu'on se base sur le sens commun.

Mais l'IA et l'être humain ont-il été informé qu'ils devaient faire appel au sens commun ?...

En fait, les deux phrases sont mal construites.
En langue française, nous avons les "outils linguistiques" pour supprimer les ambiguïtés.

Normalement, pour se faire comprendre, les phrases auraient pu s'énoncer :
Le service de sécurité a refusé d'émettre un permis aux manifestants car il craignait la violence. (sens 1)
ou
Le service de sécurité a refusé d'émettre un permis aux manifestants car ils craignaient la violence. (sens 2, tiré par les cheveux)

Le service de sécurité a refusé d'émettre un permis aux manifestants car ils encourageaient la violence. (Sens 1)
ou
Le service de sécurité a refusé d'émettre un permis aux manifestants car il encourageait la violence. (Sens 2)

Ou alors

Les policiers ont refusé d'émettre un permis au groupe de manifestants car ils craignaient la violence. (sens 1)
ou
Les policiers ont refusé d'émettre un permis au groupe de manifestants car il craignait la violence. (sens 2, tiré par les cheveux)

Les policiers ont refusé d'émettre un permis au groupe de manifestants car ils encourageaient la violence. (Sens 1)
ou
Les policiers ont refusé d'émettre un permis au groupe de manifestants car il encourageait la violence. (Sens 2)

La question de fond est donc de savoir s'il est souhaitable ou non de doter les IA des mêmes faiblesses que les humains.
Puisque la deuxième phrase, prise séparément de tout contexte, ne permet pas d'identifier le "ils".

L'IA et l'humain doivent logiquement répondre : Je peux ou non fournir la réponse, en faisant appel au sens commun ou pas.
Et être en mesure expliquer ce choix.

[A voir en vidéo sur Futura]

[invite6c250b59]

L'IA et l'humain doivent logiquement répondre : Je peux ou non fournir la réponse, en faisant appel au sens commun ou pas.

Autrement dit, les humains ont la possibilité de refuser de passer ce test. C'est exact, mais cela n'a pas d'impact sur les normes du benchmark. (Si un sujet refuse de répondre, on lui dit merci et on passe au suivant.)