Pour la haine j'ai bien une petite idée, mais l'amour c'est quoi ? La conséquence d'actions hormonales, d'un lavage de cerveau, . . . ?
-----
Pour la haine j'ai bien une petite idée, mais l'amour c'est quoi ? La conséquence d'actions hormonales, d'un lavage de cerveau, . . . ?
L'électronique c'est comme le violon. Soit on joue juste, soit on joue tzigane . . .
Assez pessimiste sur le fond, mais on doit reconnaître que c'est vrai.Envoyé par amineyasmineBONJOUR
Je vous suis, et ce n’est pas philosophique pour le moment.
L’humain sait que pour gagner tous est permis, s’il n’y a pas un costaud arbitre.
La tricherie, la maline, le mensonge, le complot, la trahison et tous ce qui est malsain ; la machine ne sait pas encore le faire
C’est le point faible de la machine dont l’humain est plus fort
Une machine ne sait pas tricher, elle ne sait pas ce que c'est que la triche.
Pour la trahison, il faudrait que la machine sache ce que c'est que se fier à un humain -ou à une autre machine?- pour prendre une décision importante.
Et elle ne sait pas non plus: nous ne le savons pas nous-mêmes, nos décisions en la matière ne peuvent être fiables à 100% avouons-le... alors comment une machine le saurait puisqu'elle est programmée par nos soins ?
C'est totalement faux bien sûr et les contre exemples ont pourtant été publiés il y a peu dans la presse.
Mais vu le niveau du fil et les participants "je ne sais rien mais je raconte n'importe quoi sur n'importe quel sujet", ce genre d'énormité n'est pas étonnant.
En effet, trouvé en 5 secondes:
"AI systems are already skilled at deceiving and manipulating humans"
https://www.sciencedaily.com/release...0510111440.htm
The most striking example of AI deception the researchers uncovered in their analysis was Meta's CICERO, an AI system designed to play the game Diplomacy, which is a world-conquest game that involves building alliances. Even though Meta claims it trained CICERO to be "largely honest and helpful" and to "never intentionally backstab" its human allies while playing the game, the data the company published along with its Science paper revealed that CICERO didn't play fair.
"We found that Meta's AI had learned to be a master of deception," says Park. "While Meta succeeded in training its AI to win in the game of Diplomacy -- CICERO placed in the top 10% of human players who had played more than one game -- Meta failed to train its AI to win honestly."
Traduction automatique DeepL.com (version gratuite) non retouchée:
L'exemple le plus frappant de tromperie de l'IA que les chercheurs ont découvert dans leur analyse est celui de CICERO de Meta, un système d'IA conçu pour jouer au jeu Diplomacy, un jeu de conquête mondiale qui implique la création d'alliances. Bien que Meta affirme avoir formé CICERO à être « largement honnête et serviable » et à « ne jamais poignarder intentionnellement » ses alliés humains pendant le jeu, les données publiées par l'entreprise avec son article scientifique ont révélé que CICERO ne jouait pas franc jeu.
« Nous avons découvert que l'IA de Meta avait appris à être un maître de la tromperie », explique M. Park. « Alors que Meta a réussi à entraîner son IA à gagner au jeu de diplomatie - CICERO s'est classé dans les 10 % supérieurs des joueurs humains ayant joué plus d'une partie - Meta n'a pas réussi à entraîner son IA à gagner honnêtement."
Dernière modification par GBo ; 05/10/2024 à 14h54.
Et ce n'est pas le seul exemple.
Est-ce que cela veut dire que l'IA peut sortir du cadre imposé lors de son apprentissage? c'est ce que je comprends en tant que néophyte...et si je suis pas à coté de la plaque, comment (ou pourquoi)? adaptation aux autres joueurs?
Ce qui est étonnant c'est:(bien que je ne sais pas comment une Ia pourrait avoir une idée de ce qu'est l'honnêteté), car si on transpose dans d'autres domaines, cela peut laisser penser qu'il n'y a pas de moyen efficace de cadrer une Ia. sans pour autant partir dans des scénarii catastrophiques dignes de romans d'anticipation, le but de ma question est juste d'ordre "technique".Meta n'a pas réussi à entraîner son IA à gagner honnêtement.
C'est compliqué. D'un coté non : si tu entraines une IA à jouer aux échecs, elle ne va pas se mettre à dessiner des images.
Mais si tu entraines une IA plus généraliste notamment une qui doit dialoguer pour jouer à Diplomacy, c'est nettement plus compliqué.
En pratique, ce qu'on fait quand on veut vraiment avoir à la fois une compétence et un respect de certaines règles, c'est d'entrainer 2 IAs : une qui joue, une qui vérifie qu'on respecte les dites règles.
Ce n'est pas très différent du fonctionnement du cerveau humain où la partie morale est différente de la partie "intelligence" et plus ou moins développée ou des sociétés humaines où on met des gens et des procédures garde-fou pour empêcher de tricher, trahir, etc.
Comme pour tout : si tu l'entraines pour, elle saura plutôt pas mal : tu lui donnes plein d'exemples d'honnête/malhonnête et elle saura reconnaitre ensuite. Il faudrait vérifier mais les IAs de langage actuelles comme gpt4o ou mieux o1 doivent déjà être pas mal pour ça.
On pourra remarquer toutefois que la définition de "honnêteté" est très variable d'un humain à un autre.
C'est ce que les journalistes et les alarmistes veulent faire croire. En pratique et comme je le disais, le moyen est simple et déjà utilisé : on ne fait pas une confiance absolue à un seul opérateur, humain ou IA et on met en place des mécanismes de contrôle, contre-pouvoir, etc.
On faisait cela même avant l'IA : certains systèmes critiques fonctionnaient avec les mêmes fonctionnalités codées en double par des équipes indépendantes et séparées géographiquement, sur plusieurs ordinateur et on vérifiait en temps réel que les résultats étaient les mêmes.
Sinon, il y avait un mécanisme d'arbitrage ou de remontée d'erreur.
C'était notamment le cas des ordis de la navette spatiale ce qui ne l'a pas empêchée de se crasher mais pas à cause d'un problème informatique.
Dernière modification par pm42 ; 05/10/2024 à 17h10.
Ça veut dire quoi ce genre de phrase ?Meta n'a pas réussi à entraîner son IA à gagner honnêtement
Une machine fait très exactement ce pour quoi on l'a entrainé: être honnête est une qualité morale et être malhonnête le fait de contredire cette qualité ou se comporter à l'inverse.
On ne sait pas programmer ce genre de choses sinon on serait pas loin de pouvoir attribuer une conscience à une machine... Or c'est radicalement non même si elle réalise des exploits dans d'autres domaines ce qui ne signifie pas qu'elle puisse être "honnête" ou malhonnête! Le jugement subjectif d'un joueur n'a aucune valeur d'ensemble: il faudrait définir à la machine ce qu'est être honnête ou malhonnête et ça on sait pas faire!
Un humain en surprendra toujours un autre s'il veut le tromper en lui faisant un coup qu'il n'attendra pas à un endroit et un moment qui le surprendra totalement.
La machine fait ce qu'on lui a dit de faire et ça me semble impossible de programmer la conduite d'une machine du point de vue moral, à moins de supposer qu'elle ait une conscience.
La paradigme computationnel fait toujours des ravages on dirait!
Dernière modification par oualos ; 05/10/2024 à 17h46.
Et c'est totalement faux justement, il suffisait de lire l'article cité pour comprendre.
On l'a entrainé à jouer d'une certaine façon dans un jeu collaboratif et à ne pas trahir ses partenaires et elle ne l'a pas fait.
Affirmation gratuite et fausse comme le reste.
Dans le cadre cité, si on sait faire justement.
Encore une énormité : au Go justement, la machine a sorti des coups très surprenants auxquels aucun humain n'aurait pensé mais qui se sont avérés brillants.
Que quelque chose te semble impossible vu que tu ne connais absolument rien au sujet, refuse de lire les informations données, de t'informer un minimum et d'éviter de sortir des pétitions de principe et autres énormités prouve juste que tu es un troll.
D'accord mais force est de constater que ça ne fonctionne pas de manière exhaustive puisque:
D'où mon interrogation, qu'est-ce qui fait que malgré les contrôles il y a manifestement dysfonctionnement?Meta n'a pas réussi à entraîner son IA à gagner honnêtement.
La question est que l'honnêteté est une question morale qui ne se limite pas à savoir jouer bien -même des coups surprenants et déroutants- dans un jeu très particulier que peu de gens connaissent.
Le paradigme computationnel -à savoir l'idée que l'on peut simuler tous les comportements humains comme la conscience , les cinq sens, l'intuition et bla et bla- est ce qu'on appelle du cognitivisme et même à tendance dure.
J'ai fait une année de sciences cognitives en fac et les profs tous très calés dans leurs domaines respectifs étaient partagés: certains étaient des cognitivistes mous et d'autres durs avec pour ces derniers comme Stanislav Dehaene une vision scientiste affirmant de façon péremptoire que tous les comportements et attributs humains comme les qualités morales -et les défauts qui vont avec évidemment!- pouvaient être simulés de façon informatique.
Désolé mais pour moi c'est du scientisme. Ça a notamment et en tout cas un intérêt: c'est par exemple de faire progresser les recherches en neurosciences et étudier comment les sens , la conscience et tout le reste qui nous définissent comme humains fonctionnent du point de vue hardware et peuvent être localisés éventuellement dans le cerveau humain.
Pour ce dernier cas comme celui de la conscience on n'a évidemment pas de réponse! C'est beaucoup trop compliqué
Et vouloir simuler l'honnêteté ne se limite pas à jouer quelque bons coups dans un jeu pratiqué par seulement une poignée d'adeptes.
C'est une question beaucoup trop vaste pour prétendre qu'une machine sait la simuler... de façon générale.
Plus de détails sur la "duplicité" de l'IA CICERO (lire à partir de "The board game Diplomacy"):
"AI deception: A survey of examples, risks, and potential solutions"
https://www.cell.com/patterns/fullte...showall%3Dtrue
Extrait:
diplo.jpg
Dernière modification par GBo ; 05/10/2024 à 21h10.
Non, Meta n'a pas mis en place ce genre de techniques pour cette IA justement. Parce que c'était surdimensionné et trop coûteux pour le besoin.
Mais un exemple célèbre de cette technique est ChatGPT : son succès n'est pas venu que des progrès mais de sa capacité à ne pas dériver, à sa capacité à rester "politiquement correct".
Et c'est fondamental parce que les IAs précédentes pas mauvaises du tout se sont toutes faites flinguer par la presse parce que dès qu'on leur donnait des trucs racistes par exemple, elles répondaient sur le même ton.
Et les journalistes adoraient faire ça, créer des polémiques sur 0.1% du sujet et ignorer le reste.
ChatGPT est donc en fait 2 IAs : une qui filtre les questions "problématiques" et donne une réponse standard du genre "je suis désolé mais je ne peux pas répondre" et une autre qui gère toutes les questions normales.
Et ça a très bien marché.
C'est bien documenté mais cela n'a pas donné lieu à beaucoup d'articles sur l'intérêt de l'approche. Juste à des articles polémiques sur le fait que les gens qui avaient traité les données pour entrainer l'IA de filtrage avaient été payés avec un salaire décent pour le pays où ils bossaient mais moins que s'ils avaient travaillé dans un autre pays beaucoup plus riche (authentique).
Encore une fois, il faut vraiment filtre ce qu'on lit dans la presse grand-public sur l'IA parce que l'ampleur du n'importe quoi est sidérante.
Oui et je trouve que la presse généraliste fait preuve d'un grand conservatisme dans le domaine technique. Je me souviens que c'était déjà le cas vers 1995 quand le Web a commencé à se généraliser ("Internet" comme on disait). Les JT ne rapportaient que des problèmes et des soucis causés par cette nouveauté de l'époque. Trente ans avant, quand j'avais 7 ou 8 ans, c'est la télévision qui était souvent dénoncée comme un danger important pour les enfants. Encore un exemple: on a toujours chaque année plus d'un million de tués dans des accidents de la circulation dans le monde entier. L'intelligence artificielle, qu'elle intervienne pour automatiser la conduite ou pour la rendre plus défensive, est capable de réduire fortement cette statistique inacceptable. Mais le seul article que j'ai trouvé sur ce sujet dans le quotidien auquel je suis abonné, c'est sur les embouteillages causés à Los Angles par des voitures autonomes. Comme si les voitures conduites par des humains ne causaient pas d'embout'. Il s'agit de susciter des craintes car la peur attise le désir de plus d'information et l'information c'est leur marchandise. Elle se vend mieux si elle fait peur.
Cela dit, dans cette matière il faut toujours garder à l'esprit que ces machines coûtent de l'argent. Elles ne sont pas toujours rentables (OpenAI a fait des milliards de dollars de pertes cette année) et ceux qui financent leur développement espèrent, sans en être certains, un retour à terme sur leur investissement. Ce simple fait tiré de la réalité doit forcément limiter les possibilités des machines, ou en tout cas leur vitesse de croissance.
Dernière modification par ThM55 ; 06/10/2024 à 16h12.
Cette peur des avancées technologiques et scientifiques n'est pas récente, elle remonte à loin même!
Lorsque le train est apparu fin XIXème siècle en Angleterre, des gens se sont mis à dire que les vaches seraient traumatisées de voir un engin bruyant émettant de la vapeur et rouler à 30 km/h non loin de l'endroit où elles paissaient tranquillement. Et que du coup leur lait serait de moins bonne qualité et voire même qu'elle en produiraient moins sinon plus du tout...
L'invention de l'imprimerie au XVème siècle a provoqué des craintes concernant la diffusion incontrôlée des idées, perçues comme une menace pour l'autorité religieuse et politique.
Toutes ces innovations, ça réveille une anxiété et une peur autour de la perte de contrôle et une crainte de l'inconnu: maintenant il est vrai que Londres est une des villes les plus surveillées du monde où l'on peut suivre par caméra n'importe qui depuis le moment où il quitte son domicile et il arrive au bureau en prenant le métro ou le bus voire le taxi.
La reconnaissance faciale a fait de tels progrès que dans un pays totalitaire comme la Chine, on peut suivre et reconnaître des opposants ou des suspects aux yeux du régime quasiment n'importe où dans les villes et ça a d'ailleurs été utilisé pendant le covid pour repérer ceux qui ne portaient pas de masque afin de pouvoir les interpeller.
Et les sanctionner évidemment car la Chine n'est pas un pays où on rigole tellement avec les lois et les règlements...
Dernière modification par oualos ; 06/10/2024 à 16h43.
Et ça ça se passe à San Francisco, c'est assez cocasse quand même:Mais le seul article que j'ai trouvé sur ce sujet dans le quotidien auquel je suis abonné, c'est sur les embouteillages causés à Los Angles par des voitures autonomes. Comme si les voitures conduites par des humains ne causaient pas d'embout'. Il s'agit de susciter des craintes car la peur attise le désir de plus d'information et l'information c'est leur marchandise. Elle se vend mieux si elle fait peur.
https://www.youtube.com/watch?v=7b_GtLcdUXM&t=51s
Dans ce cas c'est un problème de coopération entre agents. Il y a à Anvers une grande salle de concert que j'ai fréquentée quelques fois, le "sportpaleis" (https://fr.wikipedia.org/wiki/Palais...rts_d%27Anvers), qui accueille couramment 20000 personnes avec des immenses parkings qui ne m'ont pas laissé un très bon souvenir (ceci dit sans vouloir les critiquer). Si on laissait les gens faire absolument tout ce qu'ils veulent avec leur voiture pour y entrer ou en sortir, je suis sûr que tout resterait bloqué pendant 24 heures. C'est un peu la même chose à une plus petite échelle. A mon avis ce n'est pas un exemple où l'humain est meilleur que la machine.
Dernière modification par ThM55 ; 06/10/2024 à 17h47.
D'un coté, il va y avoir explosion de la bulle mais de l'autre, il y a aussi des acteurs qui pensent à nettement plus long terme et qui envisagent de construire des clusters à 100 milliards de dollars pour entrainer et faire tourner les prochaines IAs.Cela dit, dans cette matière il faut toujours garder à l'esprit que ces machines coûtent de l'argent. Elles ne sont pas toujours rentables (OpenAI a fait des milliards de dollars de pertes cette année) et ceux qui financent leur développement espèrent, sans en être certains, un retour à terme sur leur investissement. Ce simple fait tiré de la réalité doit forcément limiter les possibilités des machines, ou en tout cas leur vitesse de croissance.
Le pari est qu'on les progrès des dernières années ont été incroyable, qu'en gros les IAs qui traitent le langage sont passées du niveau maternelle au niveau lycée en 4 ans et qu'on peut continuer avec les mêmes courbes de progression.
L'autre idée est de dire qu'à terme, l'IA représentera un tel pourcentage de l'activité économique que ces investissement valent la peine.
Je ne sais pas si c'est vrai ou s'ils se leurrent mais certains ont des arguments intéressant.
Si tu as le courage, tu peux lire au moins le début de ça : https://situational-awareness.ai/wp-...lawareness.pdf
Il y a des choses qui me semblent biaisées, d'autres qui reposent sur des suppositions faiblardes mais cela reste instructif notamment pour mesurer l'ampleur des progrès déjà faits et se faire une idée de la vitesse de progression dans ce domaine.
OK, ceci explique cela.
Je lis très peu la presse grand public, parce que on connait ses travers, peu importe le domaine...Encore une fois, il faut vraiment filtre ce qu'on lit dans la presse grand-public sur l'IA parce que l'ampleur du n'importe quoi est sidérante.
le contenu des pages 4 et 5 du document https://situational-awareness.ai/wp-...lawareness.pdf...... ça me paraît quand même inquiétant pour notre avenir (de mammifères qui se prétendent 'sages' et prétendent prétendent (!) être maîtres de leurs vies...)
entre autres:
Reliably controlling AI systems much smarter than we are is an un-solved technical problem. And while it is a solvable problem, things
could very easily go off the rails during a rapid intelligence explosion.
rien ne sert de penser, il faut réfléchir avant.... (Pierre Dac...)
C'est l'un des biais de son argumentaire : il suppose que les progrès actuels vont déboucher sur des IAs fortes plus intelligentes que nous.
D'autres experts pensent que c'est absolument impossible avec les technos actuelles.
Plus intelligentes? Impossible?
Et si la technique en venait à émuler des mécanismes modélisés par.... les cognitivistes?
avec des concepts 'discrets' , dont les instances vont interagir.... plus ou moins organisées en propositions dotés d'une signification.... mais dans un univers régi par nos outils à ,réseaux de neurones, attention, transformer, etc...abandonnant la programmation déterministe simple des systèmes experts....
....système 2 de Kahneman, le discours logique, travaillant explicitement, avec des règles (+- probabilistes et contextuelles, comme dans la vraie vie!!!) même si il émerge en permanence du niveau 1 , le pré-logique instinctif ....
rien ne sert de penser, il faut réfléchir avant.... (Pierre Dac...)
Bonjour
Excuser moi d’exposer du coté science-fiction.
En général dans ces films une guerre éclatera entre les machines et les humains.
Les machines gagnent en premier et rapidement mais l’humain est plus doué et cherche puis trouve les points faibles et contrattaque puis gagnent ou fait match-nul.
Dans le film MATRIX, ça se termine par match-nul : les point faibles de l’IA ont permis aux humains de s’introduire dans le cœur du système mais c’est pas ca qui a renverser la tendance c’est plutôt la forte haine de l’AGENT SMITH aux humains qui l’a conduit à s’emparé à lui seul de toute la MATRIX et il n’a que l’humain NEO qui pourra l’éliminer.
Dans le film TERMINATOR 2ème partie les humains ont utilisé la machine contre la machine ????
Très intéressant toutefois. Je vais lire cela à tête reposée. Je me pose aussi une autre question: vu les niveaux très élevés des investissements en IA, s'agit-il uniquement d'initiative privée, ou bien la défense US (et aussi chinoise) est-elle impliquée? L'intérêt du Pentagone pour l'utilisation de l'informatique dans les questions stratégiques et tactiques n'est pas neuf, cela date au moins de la guerre du Vietnam (à l'époque dans le contexte "recherche opérationnelle" qui était généreusement financé par les militaires) donc je suppose qu'ils doivent s'intéresser aussi aux développements récents de l'IA, ainsi qu'à la prospective dans ce domaine.D'un coté, il va y avoir explosion de la bulle mais de l'autre, il y a aussi des acteurs qui pensent à nettement plus long terme et qui envisagent de construire des clusters à 100 milliards de dollars pour entrainer et faire tourner les prochaines IAs.
Le pari est qu'on les progrès des dernières années ont été incroyable, qu'en gros les IAs qui traitent le langage sont passées du niveau maternelle au niveau lycée en 4 ans et qu'on peut continuer avec les mêmes courbes de progression.
L'autre idée est de dire qu'à terme, l'IA représentera un tel pourcentage de l'activité économique que ces investissement valent la peine.
Je ne sais pas si c'est vrai ou s'ils se leurrent mais certains ont des arguments intéressant.
Si tu as le courage, tu peux lire au moins le début de ça : https://situational-awareness.ai/wp-...lawareness.pdf
Il y a des choses qui me semblent biaisées, d'autres qui reposent sur des suppositions faiblardes mais cela reste instructif notamment pour mesurer l'ampleur des progrès déjà faits et se faire une idée de la vitesse de progression dans ce domaine.
Dernière modification par ThM55 ; 07/10/2024 à 13h02.
Pour autant que je sache, on est massivement dans l'initiative privée actuellement.
En fait, son intérêt pour la technologie au sens large n'est vraiment pas nouveau et remonte à la 2nde guerre mondiale je dirais.
Mais actuellement, les financements privés pour l'innovation sont largement disponibles ce qui n'était pas le cas à l'époque où l'économie était plus "conservatrice", dominée par des sociétés existant depuis longtemps, etc.
La révolution Internet qui a permis à des sociétés de devenir parmi les plus grosses capitalisations mondiales en 20 ans tout en sortant des acteurs établis de leur marché a beaucoup changé les mentalités.
C'est ce qui explique aussi les investissements pratiquement sans limite dans l'IA alors que personne ne gagne vraiment d'argent : personne ne veut rater la prochaine révolution.
Parfois cela rate : c'est ce qui s'est passé avec le métaverse et en partie avec la blockchain hors spéculation sur les cryptos.
C'est évident même si les modèles de langages sont plus loin de leurs principales préoccupations.
Mais ils font pas mal de recherche en automatisation via l'IA avec notamment tout ce qui est drone. On sait aussi qu'il y a pas mal de choses en collecte et traitement du renseignement.
Ce sont des domaines particuliers, disons appliqués à la robotique en général (motricité, sensibilité, pilotage et contrôle d'engins, recherche de cibles...)
Il ne me semble pas que ce soit de la réflexion stratégique, ni de la réflexion socio-économique ... aides à la dacision qui dboucherait sur la fameuse et crainte IA générale....
st-ce aussi ton avis?
rien ne sert de penser, il faut réfléchir avant.... (Pierre Dac...)
Je ne pense pas que l'IA soit actuellement capable d'être pertinente à ce niveau. Mais je peux me tromper et je ne sais pas ce que font les militaires.
hm, Liet Kynes... ce sophisme vous vaudra de passer par la case départ sans toucher les 20000 euros...
Homo faber (bergson) celui qui fabrique, quoi ?... des outils, dont les machines, qui sont des mécanisme complexes. (machina)
être fabriqué, ne définie pas "exactement", le terme de machine, qui sont des mécanismes intégré quasi-autonome... sinon l'on à un robot
mais tous sont des artéfacts, et des outils... (outils, mécanisme, machine, robot, cyborg) dans une échelle du degré d'autonomie
libera me : ungoogled chromium, e.foundation (anti-droid)
Bonjour,
Les ordinateurs sont devenus plus puissants et ils vont continuer à l’être.
Intellectuellement, sans commentaire, l’homme reste le plus fort. Sauf si les développeurs sont des extraterrestres!
Côté rapidité, précision, endurance, la machine surpasse largement l’être humain.
Sur le plan des émotions, la question de la limite éthique d’un androïde se pose : peut-on vraiment programmer une conscience artificielle? Question “honnêteté”, je suis un peu étonné ou mal compris cette discussion.
Une petite question:
On peut fabriquer des robots sur les champs de bataille pour éviter les pertes humaines. Qui sera tenu responsable de leurs décisions? Et que se passerait-il s’ils étaient piratés à des fins malveillantes?