Totalitarisme numérique

[JPL]

Cette discussion risque une fermeture prochaine car hors thématique du forum.
-----

[invite7b7f1ad0]

Machine = outil numérique

Dans une approche scientifique, il est possible de dégager des problématiques au sein d'interactions complexes classiques. Je creuse ce sujet plus dans la relation homme-machine, j'ai lu quelques textes parlant des inter-actions homme machines et trouvé très peu d'étude sur le pouvoir de la machine pour influencer l'humain (conséquence de ce qu'elle produit) y compris vis à vis de celui qui pense la diriger.
Les observations faites par les machines apportent des vérités nouvelles, à travers le traitement de grandes base de données, il en émane du décisionnel humain qui est peut-être d'une façon ou d'une autre assujetti à la "vérité" (et j'en rajoute deux au cas ou "") mathématique: le décideur va s'adapter à l'information donnée par la machine: mentir ou non en fonction de ce qui l'arrange mais restreindre son décisionnel à une information qui le dépasse.
Pour reprendre la main, des nécessités impérieuses peuvent être utiles (la sécurité) à l'être humain.
Pour effectuer des correctifs sur ce qui est "dit" par la machine des changements dans le fonctionnement du système (organisations) humain peuvent être décidés.
Ce que je cherche à savoir c'est la part de perte de contrôle de l'être humain, à quel point il peut être influencé par ses propres outils, quelque soit ses valeurs.. Je pense qu'une approche scientifique est nécessaire, mais laquelle et comment?

[Deedee81]

Salut,

Bon essayons de rester carré. JPL a raison, on a tendance à vite dériver sur ce genre de sujet.

Je pense qu'une approche scientifique est nécessaire, mais laquelle et comment?

C'est forcément pluri-disciplinaire.

En tout cas il existe des cas qui illustrent bien la nécessité de represendre la main sur ça. Par exemple, à l'aide du deep learning, il y a quelques années, des scientifiques américains (lu dans PLS ou La Recherche, désole sais plus lequel) avaient mis au moins un programme d'analyse des résultats scolaires. Quel ne fut pas la surprise de voir que les résultats étaient teintés de .... racisme !!!! Après analyse il s'est avéré que l'alimentation de l'IA avec les données brutes des bases de données était une mauvaise idée car les données, humaines, étaient elles aussi biaisées. La machine n'avait fait que reproduire ce qu'on lui donnait. Elle était "impartiale"

On s'est donc rendu compte que les traitements massifs de données nécessitaient des études approfondies à tous les étages (étude de sécurité, de fiabilité, d'éthique, d'anonymisation, de qualité, .... pluridisciplinaires je disais ) :
- conception des algorithmes, outils,...
- données de base pour préparer les algorithmes ou les alimenter
- exploitation des données fournies par les algorithmes

Sans compter qu'on ne peut pas faire une confiance aveugle aux machines. Justement à cause de ces difficultés. Et dans certains domaines il faut pouvoir justifier les résultats. C'est le cas dans le domaine médical ou juridique. Ainsi, si une machine examine les données médicales d'un individu (à but diagnostique) et décide qu'il doit subir une intervention chirurgicale.... outre les aspects sécurité, confidentialité,.... la machine doit aussi dire pourquoi elle prend cette décision. C'est même une question de légalité (le patient doit donner son accord en étant informé de manière précise, claire, complète des motifs, risques et avantages de l'intervention). Même avec les voitures autonomes. Celle-ci ne va pas justifier chaque décision (pas le temps !!!!) mais après coup, en cas d'accident (il y en a et il y en aura, c'est inévitable) elle doit pouvoir dire "j'ai accéléré car....". C'est seulement ainsi qu'on pourra trancher les aspects de responsabilité devenus très complexes avec ce type de véhicule !

Or certaines techniques modernes ne donnent pas facilement les raisons d'un résultat. C'est vrai de beaucoup de techniques statistiques complexes du big data mais aussi des outils de deep learning. Alors que d'autres ne posent pas de problèmes (quand on fait une moyenne c'est facile à interpréter , il y a aussi les systèmes experts basés sur des bases de données d'inférences, etc...) mais sont plus limités dans leurs capacités.

Le challenge actuel n'est donc pas seulement les aspects sécurité, éthique et touti quanti mais aussi réaliser des outils et algorithmes qui permettent de tirer le meilleur des différents outils déjà connu. Ce ne sera pas facile.

Je tire tout ça de mes lectures surtout de PLS (rubriques sur l'IA, rubriques éthiques, et même la rubrique mathématique de Delahaye)

Quelqu'un aurait des références précises sur ces recherches algorithmiques ? Ce serait utile pour en parler.
(tout ce que j'ai trouvé avec gogol c'est des fiches de cours, notamment de Louvain en Belgique, ce qui montre que ces questions sont dans l'air du temps )

[invite7b7f1ad0]

Bonjour,

Cette approche est intéressante. Voilà la réflexion qui me vient:

Ton exemple représentatif: " Ainsi, si une machine examine les données médicales d'un individu (à but diagnostique) et décide qu'il doit subir une intervention chirurgicale.... outre les aspects sécurité, confidentialité,.... la machine doit aussi dire pourquoi elle prend cette décision." est à relativiser car dans le sens de ma réflexion c'est le chirurgien qui décide.

Le truc c'est est-ce que le chirurgien peut décider autre chose face à ce qu'indique le traitement des données?

Si par exemple l'issue opération vs pas opération est à 96% favorable pour l'opération d’après la machine mais qu'il y a un changement de variable entre la collecte de données et la production de conclusions ( découverte d'un traitement non invasif de la pathologie par exemple) le chirurgien devra continuer a opérer tant que le changement de variable n'aura pas été validé du point de vue statistique (attendre la fin de l'essai clinique).

Cet exemple est simple et le décisionnel dicté par la machine est justifié en aval par le choix humain d'attendre une validation: l'outil reste maitrisé.

Lorsque cela se complique, que l’empilement et l'entrecroisement de très nombreux facteurs servent à la production d'une donnée d'aide à la décision, il y a d'une part le problème d'avoir fait inter-agir entre eux des facteurs pouvant s'influencer entre eux (un peu comme en chimie), les biais cognitifs dans le choix d'intégrer tel ou tel facteur, l'addition de seuils de confiances, un temps de production potentiellement plus long et un nombre de changements de variables (paradigme) plus important: le délai entre l'usage des propositions de la machine et la prise de conscience de son dysfonctionnement peut-être courte (le moteur de la fusée ne démarre pas ou trop long le moteur démarre mais explose).

[Deedee81]

Ton exemple représentatif: " Ainsi, si une machine examine les données médicales d'un individu (à but diagnostique) et décide qu'il doit subir une intervention chirurgicale.... outre les aspects sécurité, confidentialité,.... la machine doit aussi dire pourquoi elle prend cette décision." est à relativiser car dans le sens de ma réflexion c'est le chirurgien qui décide.

Il n'est absolument pas question que ce soit la machine qui donne l'ordre
C'est déjà comme ça : c'est le médecin qui décide (hummm le verbe que j'avais utilisé prête à confusion).
(comme dans les actuelles applications de deep learning de détection de tumeurs sur radios qui se sont montrées très efficace).

Mais ça lui fera une belle jambe s'il ne sait pas du tout pourquoi la machine propose ça !!!!

Et il y a même un risque : suivre aveuglément la machine car "elle est plus maline que nous et si elle dit ça, alors on doit le faire, point barre". De telles dérives ont déjà été constatées (même dans d'autres domaines, cela avait été relevé dans l'aviation par exemple.... lors d'accidents !!! (*)). Et ça, c'est un énorme problème.

(*) plusieurs cas connus, montré dans la fameuse série télé sur les crachs d'avions.
Rappelons-nous aussi le crash lors d'une démo des premiers Airbus ((**) bien que là, on n'ait pas "suivi la machine", c'est juste qu'elle avait le contrôle. La situation était un peu différente mais pas tant que ça. Donner trop de pouvoir à une machine qui n'a pas toutes les infos en main est une grave erreur (***)).

(**) pour rappel, pour montrer les capacités de l'engin, le pilote a fait des manoeuvres risquées. Et il a plongé vers le sol (une forêt en fait) et redressé fortement à la dernière minute. Sachant que l'appareil pouvait le faire. L'ordinateur ayant décelé une commande "trop forte" a considéré que le pilote avait fait une erreur et a empêché le redressement de l'appareil : BOUM.

EDIT (***) parfois c'est une erreur de conception, mais le fait est là, faut en tenir compte. Par exemple certains accidents de Tesla... car la machine a de super détecteurs (lidars et tout le bouzin) et les concepteurs on programmé le tout "comme si les autres usagers avaient aussi une bonne vue". Mais non, dans le noir ou le brouillard, faut ralentir, même si on voit bien : car les autres eux ne voient peut-être pas aussi bien et on doit les éviter s'ils ne t'on pas vu à temps et n'ont pas réagit en conséquence.

Si par exemple l'issue opération vs pas opération est à 96% favorable pour l'opération d’après la machine

Et comment sais-tu que ce chiffre est correct ! On ne peut pas suivre aveuglément sans savoir comment elle obtient ce chiffre. Pas dans ce domaine. Un tel chiffre sans justification est même illégal (on doit motiver et informer, c'est la loi. Si le patient demande "comment sait-on que les chances de survies sont grandes", il dit quoi le médecin : "la machine l'a dit" ? )

Et oui, évidemment, si d'autres infos arrivent, le médecin peut être amené à changer les décisions. Ce n'est pas propre au deep learning ça. Même ce qu'indique un tensiomètre est concerné

[invite7b7f1ad0]

Voilà on s'approche du cœur du sujet, la machine indique, elle apporte une information et c'est cette information qui va être influente sur la décision humaine.
Historiquement on prenait des décisions avec des calculs fait avec un crayon et du papier, du "à la main", voir "de tête", avec les outils numériques on peut faire des calculs qui aurait mobilisé l'ensemble de la ressource humaine planétaire une vie durant en quelques nano-secondes. Aujourd'hui, la complexité de ces calculs dépassent largement l'entendement humain et je pense que l'on se retrouve devant un problème de synchronisation entre la réalité physique et la modélisation.
Le temps machine n'est pas le temps réel, plus profondément le temps cognitif humain est aussi en décalage par nature (entre le moment pu j'entends un son et l'identifie en tant qu’information il y a un décalage avec le moment d’émission du son). Au delà de cette problématique du temps il y a le décalage avec la nature de la donnée: je résous le problème du son en l'anticipant par exemple je sais qu'à 7 heures la cloche de l'église va sonner car j'ai connaissance de la nature de ce qui produit le son mais je peut être surpris de ne pas l'entendre du fait d'un évènement imprévisible ( panne de l'horloge ou surdité subite).
Nos systèmes fonctionne dans l'escompte, la récursivité de l'évènementiel mais restent fragilisés par le caractère imprévisible de la réalité (FUKUSHIMA) et l'on y intègre des facteurs de correction pour sécuriser. Quelle est la relation entre système complexe et capacité de sécurisation? C’est peut-être cela le cœur de ma question, la nécessité de sécurisation grandit peut-être avec la complexité de ces systèmes de modalisation et induit une forme de totalitarisme par la recherche d'une stabilité absolue. Si tout est figé il ne peut rien se passer d'imprévu.

[Deedee81]

Tout ce que tu dis est d'une grande banalité (*). Est-ce que tu as vraiment compris où sont les problèmes avec le deep learning ? Il me semble pourtant avoir bien expliqué.

(*) A part la difficulté de la sécurisation avec la complexité. M'enfin, bon, c'est évident aussi ça.

[invite7b7f1ad0]

Le deep learning résoudrait le problème grâce à une implémentation permanente de nouvelles données et reconfigurerai alors ces propres algorithmes?
Cela conforte ,si ce que je dis ci dessus n'est pas trop à côté ce que je dis dans mon post #8 ( partiellement), le système reste assujetti à des limites techniques et plus il apprends plus il a besoin de capacités matériels (calculateurs, stockage..)
A moins que l'on constate une croissance non exponentielle au fur et à mesure de l'apprentissage? Si des nouveaux paradigme issus du deep learning ne sont pas visibles par l'être humain mais que la machine les intègres dans son fonctionnement on perd un peu le contrôle non?

[Bounoume]

simple remarque, pour avancer un peu....

un Prince totalitaire ne discute pas avec ses sujets.
Bien sûr il n'explique pas ses conclusions/décisions.
Mais en l'espèce c'est peut être parce que:
-sa façon de 'penser' n'est pas compatible avec celle de ses sujets
-sa façon de penser est incapable de suivre les étapes d'une discussion structurée, avec un enchaînement logique de propositions énoncées dans un langage commun
-sa façon de penser est incapable de construire une explication structurée avec étapes discrètes isolables et organisées en vue d' établir le résultat présenté.....

Ainsi le Prince dit "sa" vérité, mais est imperméable aux critiques sur sa propre 'pensée'...

Cette remarque me semble applicable tant à un RNN, une application de deep-learning complète, et même l'ensemble diffus des applications et data gérant la vie actuelle....

Serait-ce l'essence du totalitarisme en question?

[invite7b7f1ad0]

simple remarque, pour avancer un peu....

un Prince totalitaire ne discute pas avec ses sujets.
Bien sûr il n'explique pas ses conclusions/décisions.
Mais en l'espèce c'est peut être parce que:
-sa façon de 'penser' n'est pas compatible avec celle de ses sujets
-sa façon de penser est incapable de suivre les étapes d'une discussion structurée, avec un enchaînement logique de propositions énoncées dans un langage commun
-sa façon de penser est incapable de construire une explication structurée avec étapes discrètes isolables et organisées en vue d' établir le résultat présenté.....

Ainsi le Prince dit "sa" vérité, mais est imperméable aux critiques sur sa propre 'pensée'...

Cette remarque me semble applicable tant à un RNN, une application de deep-learning complète, et même l'ensemble diffus des applications et data gérant la vie actuelle....

Serait-ce l'essence du totalitarisme en question?

Je garde bien à l'esprit que le machine n'est personnifiée, dans ces discussion il peut y avoir une tendance a l’anthropomorphisme vis à vis de la chose numérique.

L'information issue la machine influence le décisionnel humain. Ce constat se retrouve dans les instruments de mesure les plus simples.
La machine répond à une demande du décideur humain. Dans la problématique ce qui est recherché ce serait de savoir d'une part si la machine dans son évolution va au delà de la demande, d'autre part si le décideur s'en trouve influencé par une information qui dans sa forme correspond à la demande initiale mais dans son fond intègre des variables non demandées (mais nécessaires pour le fonctionnement de la machine).
Ensuite il y a dans l'usage des informations fournies par la machine, le problème de la réalité des variables qui ont été utilisées au moment de la production de la conclusion de la machine, décalage de réalité: ce biais est particulièrement celui qui m’intéresse car pour être maitrisé il faut soit une stabilité forte des variables dans le temps (stabilité que l'humain décideur peut obtenir par ses comportements: partie hors charte de la discussion) ou stabilité que la machine va fournir en remettant en permanence à jour les données avec des instruments de collectes devant être de plus en plus précis (pour limiter les biais de mesure aussi).
La stabilité de l'information régulée en dotant la machine d'une capacité de rafraichissement permanente est limitée par la réalité; bais de mesure, énergie-matières premières... c'est une liste a établir. Cette limite va donner un rythme à la machine qui peut donc produire une information sur elle même et ainsi "prescrire" au décideur la nécessité de stabiliser telle ou telle variable (cela peut se traduire par des mesures législatives) pour permettre de produire par ailleurs les informations dont il a besoin: l'autorégulation de la machine peut aussi induire la nécessité de ne pas collecter certaines informations.

C'est ma réflexion et le caractère pluri-disciplinaire fait qu'il n'y a peut-être pas d'étude globale de ces questions?

[Bounoume]

Je garde bien à l'esprit que le machine n'est personnifiée, dans ces discussion il peut y avoir une tendance a l’anthropomorphisme vis à vis de la chose numérique.

Anthropomorphisme?
Même dans la question que tu poses, il est implicite que le simple mot "totalitarisme" implique l' existence d' une entité qui 'se comporte' de façon totalitaire......
Analyser l'interaction de cette entité avec la cible de cette action (les humains...) .... est-ce de l'anthropomorphisme?

L'information issue la machine influence le décisionnel humain. Ce constat se retrouve dans les instruments de mesure les plus simples.
La machine répond à une demande du décideur humain. Dans la problématique ce qui est recherché ce serait de savoir d'une part si la machine dans son évolution va au delà de la demande, d'autre part si le décideur s'en trouve influencé par une information qui dans sa forme correspond à la demande initiale mais dans son fond intègre des variables non demandées (mais nécessaires pour le fonctionnement de la machine).

Aller au delà de la demande?
Là il faut bien donc considérer.... le demandeur, qui lui, est un humain.......

Quelle est la demande? Qu'est-ce qui la définit?
la formulation SQL des requêtes au SGBD? L' apprentissage du RNN? La structure des données? les exemples fournis au RNN?
Tu me concéderas que ce n'est pas ça.... sinon tu devrais admettre que la machine répond de façon correcte (conformément à ses propriétés et aux valeurs des données entrées)

Donc faut considérer le facteur humain en entrée...
L ' "idée" de l' humain? : indéfinissable....
l' "intention" de l' humain ? : tout aussi flou...
une formulation en langage (naturel ou scientifique) de la question supposée engendrer la requête?
formulation par le demandeur? par les experts? En tout cas si prend en axiome: la question est unique, alors à une question répondent une multitude de formulations possibles en langage naturel....

pour moi, le 'au delà' et les 'variables non demandées' sont de faux problèmes....

Ou alors tu attribues à la machine des intentions comme on peut en attribuer à un animal familier.....
Effectivement, quand je suis en présence de mes chevaux.... selon leur comportement, je leur attribue des intentions (et je dois en tenir compte parce qu ce sont des animaux bien plus gros que moi!) . Par contre mon ordi: NIET! NEIN! Nenni.....

Ensuite il y a dans l'usage des informations fournies par la machine, le problème de la réalité des variables qui ont été utilisées au moment de la production de la conclusion de la machine, décalage de réalité: ce biais est particulièrement celui qui m’intéresse car pour être maitrisé il faut soit une stabilité forte des variables dans le temps (stabilité que l'humain décideur peut obtenir par ses comportements: partie hors charte de la discussion) ou stabilité que la machine va fournir en remettant en permanence à jour les données avec des instruments de collectes devant être de plus en plus précis (pour limiter les biais de mesure aussi).

Les données collectées sont les valeurs que prennent des 'indicateurs' recueillis par observation du monde réel....

Il y a longtemps, un professeur nous avait dit: un indicateur ne mesure que.... lui-même.....
Tes variables ne sont que des indicateurs, et c'est l' humain qui leur attribue une signification....
Comme au résultat des traitements de l' information, d' ailleurs....

[invite7b7f1ad0]

Il y a longtemps, un professeur nous avait dit: un indicateur ne mesure que.... lui-même.....
Tes variables ne sont que des indicateurs, et c'est l' humain qui leur attribue une signification....
Comme au résultat des traitements de l' information, d' ailleurs....

C'est une piste intéressante de réflexion, l’apriori sémantique que nous donnons, du fait de la nature de notre langage naturel, à un indicateur génère peut-être un biais cognitif qui nous ferait croire que la machine en deep-learning va utiliser uniquement les variables que nous associons en tant qu'humain à l'indicateur recherché?

[f6bes]

C'est une piste intéressante de réflexion, l’apriori sémantique que nous donnons, du fait de la nature de notre langage naturel, à un indicateur génère peut-être un biais cognitif qui nous ferait croire que la machine en deep-learning va utiliser uniquement les variables que nous associons en tant qu'humain à l'indicateur recherché?

Bjr,
Là va falloir me m'expliquer avec les mains ! (j'ai mes limites!)
Pour moi ça rejoins du pur " Coluche ".
Bon WE

[invite7b7f1ad0]

Bjr,
Là va falloir me m'expliquer avec les mains ! (j'ai mes limites!)
Pour moi ça rejoins du pur " Coluche ".
Bon WE

Coluche n'est pas à la portée de tout le monde effectivement, et ne pas sortir de ses limites n'est pas drôle quand on écoute Coluche avec l'envie de rire..
Ne serait-il pas plus opportun de formuler ce qui vous chagrine en exprimant ce qui est incompréhensible pour vous dans mon discours en mettant en opposition votre interprétation des concepts portés par celui-ci à la lumière de vos connaissances et/ou votre perception de la problématique?
Le "Bon week-end" induisant un rejet de l'échange, je doute du fait que votre remarque attende cependant la réponse que je consens à vous donner, par politesse.

[f6bes]

Remoi,
C'est sur on n'est pas du meme monde !
Je termine TOUJOURS mes messages par une forme de politesse : C'est soit "bonne journée" ou "Bon WE" suivant
le jour de la semaine. C'est n'est nullement un " rejet de l'échange" comme tu le supposes (suffit de consulter mes divers
messages pour s'en convaincre ).
Mais bon je disgresse !
Bonne journée

[JPL]

Discussion fermée.

[SK69202]

Discussion fermée.

Erreur numérique ?