Une étude de Stanford attribue l'absence de gains de productivité liés à l'IA au « workslop »

[sunyata]

Bonjour,

Si certaines utilisations ciblées de l'IA produisent des gains de productivité, il semble que la généralisation hâtive de cet outil
génère également l'inverse et produisant du "Workslop"
Une nouvelle étude menée par l'université de Stanford et BetterUp révèle que l'adoption généralisée de l'IA sur le lieu de travail crée un paradoxe coûteux en matière de productivité. Bien que 40 % des employés déclarent utiliser des outils d'IA, beaucoup produisent ce que les chercheurs ont appelé du « workslop » – un contenu qui semble soigné mais qui manque de substance et oblige leurs collègues à passer près de deux heures à corriger chaque incident.

Cordialement
-----

[SK69202]

C'était la semaine dernière sur des canaux financiers, 95% des sociétés (us) ayant investit dans "l'IA" (IA propre ou services associés) n'ont pas obtenu le retour sur investissement attendu.
Pas besoin de de nouveau concept, c'est juste des victimes de publicités mensongères.

[polo974]

Parler d'une étude est assez amusant/désolant (au choix)...
Quand on creuse un peu, on tombe sur des trucs digne de ce qu'ils dénoncent: de belles présentations, de beaux tableaux, tout ça, mais rien derrière qui permette de dire si c'est du vrai ou du bruit. bref, des sortes de "powerpoint" de manager qui ne comprend que couic à ce qu'il y a derrière, choses très courantes avant l'arrivée des LLM.
Ah, si, un truc qu'on arrive à trouvé: c'est basé sur un tout petit sondage internet, donc très biaisé et peu représentatif de la réalité.

[GBo]

Je rajoute que j'ai investigué et partiellement compris le pourquoi des mauvaises perfs de l'IA générative généraliste pour mon métier d'ingé télécom : par exemple pour l'interface radio 5G, bien que le standard soit défini en clair sur un serveur public d'accès gratuit (3GPP.org, la série 38 principalement, voir https://www.3gpp.org/dynareport?code=38-series.htm), ces specs ne font visiblement pas partie des données d'entrainement des IA que j'ai testées. Pour preuve, à chaque fois que je demande de me citer un passage de ces specs, l'IA renvoie vers un blog parlant de ces specs, mais pas un extrait de la spec elles même. Or les blogs en question sont souvent faux (blog de débutants se faisant mousser sur linkedIn). D'autre part, il est habituel de retrouver des termes communs en 4G et 5G mais pour des définitions parfois sensiblement différentes, ce qui met dedans les LLMs qui n'ont pas "compris" cette polysémie.
Il faudrait donc entrainer une LLM pour la spécialiser sur des specs 5G d'une release donnée, une autre LLM sur les specs 4G d'une release donnée, etc.. Ce n'est pas ce qui est fait, probablement par manque de marché. En outre cela suffirait peut être à répondre à des questions "de cours", surement pas à des problèmes d'implémentation, qui ne sont pas décrit dans la spécification...

[A voir en vidéo sur Futura]

[SK69202]

Le souci c'est qu'ils ne vérifient pas le bien fondé des réponses et les balancent aux chefs de projet et même aux sous-traitants telles quelles. Or il y a énormément de déchet à récupérer dans ces réponses, et les "vrais" experts (dont je fais partie) s'usent à corriger le tir avant des dommages industriels.

C'est très proche de ce que j'ai lu en anglais, le gain potentiel est bouffé par la vérification et la correction des réponses "moyennes" de l'IA, et ça détruit l'économie de personnel possible, en raison des risques.

[sunyata]

C'est très proche de ce que j'ai lu en anglais, le gain potentiel est bouffé par la vérification et la correction des réponses "moyennes" de l'IA, et ça détruit l'économie de personnel possible, en raison des risques.

C'est une peu dans la continuité du paradoxe de l'automatisation...