L'intelligence artificielle, peut-elle se révéler néfaste ?

[invited494020f]

Les problèmes du programmeur d'IA et la probabilité d'un programme "néfaste".
Les problèmes classiques du programmeur qui se limite aux algorithmes et aux calculs sont connus par tous ceux qui écrivent (avec succès) des programmes simples, même si ces programmes comportent des dizaines de milliers de lignes.
Écrire un programme d'IA ou de système expert offre beaucoup plus d'occasions de se planter, pour la simple raison qu'on est obligé à certains moments de "laisser la bride" au programme qui peut éventuellement avoir envie de créer une base de données excédant les possibilités de la machine, ou d'effectuer des itérations sans fin, ne débouchant pas sur une valeur fixe, mais oscillant dans une zone d'incertitude. Il peut aussi s'inspirer de la théorie du chaos et conduire à des conclusions folles. Pour cette raison on est obligé d'installer des "garde-fous" un peu partout pendant l'écriture et le "rodage" du programme.
Ce sont les problèmes principaux que j'ai rencontré. Depuis les méthodes ont évolué et d'autres problèmes ont pu émerger, surtout dans les systèmes comme le pilotage (d'avion) informatique où tout erreur est prohibée, au point qu'on utilise trois ou plusieurs calculateurs avec décision majoritaire et signalisation bruyante en cas de panne de l'un d'eux.
Dans tous les cas c'est le programmeur et ceux qui valident son programme qui sont responsables de son bon fonctionnement. Dans l'état actuel des choses il est hautement improbable qu'un "docteur Folamour" écrive un programme d'IA "néfaste" et que ce programme franchisse toutes les barrières qui sont opposées aux bogues et aux folies informatiques.
Les programmes d'IA ne sont pas comme les programmes "grand public" vite faites qui, même chez les grandes firmes, restent bourrés de bogues même après une longue diffusion, au point qu'on est obligé de faire des mises à jour périodiques.
Amicalement paulb.
-----

[inviteb8b12f94]

Pour ma part je pense que cela n'a rien avoir avec l'intelligence mais avec nos desirs . On peut tres bien programmer un robot ( ou autre a vous de voir ) pour qu'il tue ( un peu comme un antivirus a qui on demande de supprimer tel ou tel programme ) , et du coup le rendre nefaste , sans pour autant qu'il soit capable de reflechir ou de penser ou qu'il est conscience du bien et du mal . D'ailleur quand on y reflechis l'intelligence artificiel n'est rien de plus qu'un programme complexe qui agit selon le bon vouloir de l'homme .

[invited494020f]

On peut tres bien programmer un robot ( ou autre a vous de voir ) pour qu'il tue

Bonjour.
En effet, mais on n'a pas besoin de se fatiguer à programmer un robot: on installe une ficelle entre la poignée d'une porte et la gâchette d'une mitraillette et le premier qui ouvre la porte: pan-pan-pan!
Pour la criminalité informatique on n'a pas plus besoin d'IA: des simples programmes permettent de véroler des milliers d'orinateurs mal ou pas protégés. Seule protection vraiment efficace: ne jamais relier les machines à protéger à l'Internet, et ne jamais acheter des CD-ROM autres que ceux édités par les grandes marques. Les responsables informatiques des entreprises le savent ou devraient le savoir. En plus, pour se protéger des virus et des pannes de sa machine, il faut impérativement sauvegarder ses données à intervalles brefs. Le faites-vous?
Amicalement paulb.

[pi-r2]

D'ailleur quand on y reflechis l'intelligence artificiel n'est rien de plus qu'un programme complexe qui agit selon le bon vouloir de l'homme .

D'ailleurs quand on y réfléchit l'intelligence humaine n'est rien d eplus qu'un programme complexe qui agit selon le bon vouloir de ses dirigeants.

[pi-r2]

Pour la criminalité informatique on n'a pas plus besoin d'IA.

oui sur ce point là on se rejoint: l'IA n'apportera rien de nouveau à la capacité de l'homme à être néfaste à lui même ! Je pense que la question était est ce que l'IA pourra spontanément (et non pas sous controle de son concepteur) devenir néfaste. Mais il est vrai que cela ne fait pas différence pour la victime que l'attaque soit le fait d'une IA ou d'une intelligence humaine derrière un programme ...

[invited494020f]

NB: Au lieu de dire 'tout est à l'avenant' , j'aimerais une réfutation construite point par point, qui permettrait d'étayer la discussion

Là tu me demandes trop! La longueur de nos textes est limitée, mon envie de pondre des textes sans fin aussi. Pardonne-moi, mais d'une façon générale, j'ai l'impression que tu n'as jamais eu l'occasion de te frotter à la programmation type IA, ce qui te fait dire des énormités.

comment gères-tu (987!-(986+1)!)*(maousse )?

Seule réponse possible: cela dépend. Comme je te l'ai dit, le nombre de chiffres gérés par toutes les calculatrices numériques est limité. En général, la précision obtenue en négligeant les chiffres non gérés par la machine est satisfaisante. Si l'on veut obtenir un résultat exact, comprenant tous les chiffres, il faut les calculer un à un, ce qui conduit aux programmes que je qualifie de "mahousses" et le sont. Personnellement je n'ai jamais eu besoin d'y recourir. Les méthodes sont largement expliqués dans la littérature informatique, mais je ne les ai jamais approfondis.

la force brute en informatique c'est utiliser la puissance de calcul pour tester toutes les possibilités sans chercher un algorithme simple, élégant, efficace...La règle de "très bas niveau " est le premier pas nécessaire vers l'intelligence.

Je crois sincèrement que tu confonds systématiquement efficacité et intelligence! Les calculs et les algorithmes sont comme les coups de pinceau composant un tableau, mais on ne peut pas dire qu'ils sont le premier pas vers sa beauté, car ils peuvent aussi l'être vers sa laideur.

C'est justement parce que l'on veut faire des programmes d'IA à objectif limité en croyant simplifier le problème que l'on se plante. Une intelligence est nécessairement universelle et capable de s'attaquer (après un apprentissage adéquat) à tout type de problème.

Ce que tu dis là est peut-être le rêve un peu fou de tout programmeur d'IA mais qui, à l'expérience, apparaît comme probablement irréalisable et de toute façon trop coûteux par rapport aux problèmes à résoudre! N'oublie pas que les programmes d'IA sont là pour résoudre des problèmes concrets qui résistent à la programmation classique et pas à satisfaire l'ego du programmeur. Encore une fois, tu confonds efficacité et intelligence. Et aussi, encore une fois: les programmes d'IA simulent l'intelligence, ils ne l'ont pas.
Amicalement paulb.

[invite40d1dd91]

l'intelligence artificiel n'est rien de plus qu'un programme complexe qui agit selon le bon vouloir de l'homme

Tout a fait d'accord !!

C'est pourquoi je me pose la question:

Pouvons nous faire une IA du même niveau intellectuelle que l'homme sans pour autant que cette IA est conscience d'elle même ?

Et si c'est IA a conscience d'elle même, agira-t-elle toujours selon le bon vouloir de l'homme ?

Je pense que non, a terme, il faudra voir émerger une "conscience" sans quoi l'IA ne sera qu'un processus complexe, très pratique mais pas vraiment intelligent, tout du moins, aussi intelligent que les animaux sans conscience d'eux même.

L'homme connaît la notion de "bien" ou de "mal" car il est capable d'empathie, ça lui permet le calcul, la trahison, le mensonge... Une IA consciente sera donc capable d'empathie et du reste.

Sur le court terme, comme les missions automatisés dans l'espace, L'IA pourrai avoir un rôle non négligeable sans pour autant qu'elle soit intelligente, mais elle aura le grande avantage d'avoir été conçu pour "penser" et résoudre tout les problèmes même ceux que les programmeurs de l'IA n'ont pas imaginé.

Ainsi, je pense qu’il faut bien séparé un processus IA et une intelligence à part entière, autonome et consciente.

@++

[invited494020f]

oui sur ce point là on se rejoint: l'IA n'apportera rien de nouveau à la capacité de l'homme à être néfaste à lui même ! Je pense que la question était est ce que l'IA pourra spontanément (et non pas sous controle de son concepteur) devenir néfaste. Mais il est vrai que cela ne fait pas différence pour la victime que l'attaque soit le fait d'une IA ou d'une intelligence humaine derrière un programme ...

Spontanément devenir néfaste? Disons plutôt "Spontanément capable de nuire".
S'il faut comprendre cette affirmation dans le sens: "décider par lui-même de nuire, sans être programmé pour le faire, sans qu'il y ait base de données fausse ou erreur de programmation", la réponse est certainement non.
Si par contre il est programmé pour le faire, la réponse est: oui, certainement.
S'il y a eu erreur de programmation, base de données erronée ou insuffisance de garde-fous, la réponse est: c'est possible.
Petite parenthèse: L'IA est beaucoup utilisée en matière d'armement. Son but ultime est bien entendu de nuire à l'ennemi. Il arrive que faute d'informations suffisamment fiables on "nuise" à ses propres troupes. Mais là ce n'est pas l'IA qui est responsable, mais son alimentation en données.
Amicalement paulb.

[pi-r2]

Oui, les programmes d'IA actuels simulent l'intelligence et ils ne l'ont pas. Je ne 'confonds' pas intelligence et efficacité , mais grâce à toi, j'ai une vue plus claire sur ce point: l'intelligence c'est l'efficacité. Résoudre un problème intelligemment, c'est bien le résoudre rapidement et efficacement. C'est bien la différence entre un bon joueur d'échec et une machine bien programmée pour jouer aux échecs.
Je ne me suis effectivement jamais frotté directement à la programmation traditionnelle de type IA. Mais je fais l'analogie avec la biologie, et jusque là, je ne vois toujours pas pourquoi une simple petite cellule totalement dépourvue d'intelligence peut donner systématiquement un être intelligent et qu'il ne serait pas possible de partir d'un programme totalement inintelligent qui se développe de manière analogue en un programme intelligent.
Quand au fait que les programmes actuels utilisant l'IA visent des problèmes concret, on retombe dans le débat recherche appliquée et recherche fondamentale. Il est clair que les quelques chercheurs en IA ont besoin de sous et qu'ils n'ont pas le choix. C'est sans doute une des raisons qui font que l'on est passé à côté depuis un demi siècle.

Pour ce qui est des énormités, imagine juste un instant que je ne sois pas l'image que tu te fais de moi. Ne serait-ce pas le fait que toi tu as travaillé dans l'IA et que cela a fermé certaines possiblités en confondant impossibilité réelle et impossibilité due aux règles de programmation ?

[invited494020f]

Bonjour azman!
Je me tue à dire que les programmes IA simulent l'intelligence humaine.
Je ne vois sincèrement pas comment simuler la conscience!
Les questions que tu te poses n'ont donc pas de sens.
Amicalement paulb.

[Quinto]

C'est drôle, mais pourquoi une machine dépourvue de conscience voudrait elle nuire volontairement?
Même question d'ailleurs si elle possède une conscience.

A t'on vu beaucoup d'animaux capables de nuire volontairement et par pur plaisir? C'est un comportement typiquement humain il me semble, et on essaie de donner des caractéristiques humaines à une machine.
Vous regardez trop de films.
A+

[invite40d1dd91]

Bonjour azman!
Je me tue à dire que les programmes IA simulent l'intelligence humaine.
Je ne vois sincèrement pas comment simuler la conscience!
Les questions que tu te poses n'ont donc pas de sens.
Amicalement paulb.

Tout a fait d'accord... sur le court terme !

Mais un jour, je ne vois pas en quoi une IA très élaboré qui simule parfaitement l'intelligence humain ne pourrait pas être, par le même coup, munie d'une conscience ??

Un simulation de conscience n'est-elle pas un conscience s'il est impossible de faire la différence entre la vrai et la simulation ?

[invite87a57c9d]

Autre le fait que l'IA peut être néfaste dû à un bug (erreur de programmation), il y a des cas ou ceux qui ont programmés n'y ont pas pensés. On ne peut penser à tout, de plus une nouveauté, une évolution ne peut être connue à l'avance. Donc on peut se situer devant un cas où on pourrait être "piégé" par le programme IA.
Même en voulant securisé au maximum, on sait que trop de sécurité bloque l'utilisateur à un moment donné.

Un programme IA peut être néfaste "involontairement"...

Nous, notre cerveau est capable de s'adapter et trouver une solution même devant un cas inconnue. Revenons au cas des échecs. En réalité notre cerveau est capable de grandes prouesses si il est entrainé.
Devant une position donnée (aux échecs), un programme IA est obligé de tester les combinaisons posssibles pour arriver à la victoire, alors que l'homme peut avoir une idée fabuleuse qui lui épargne beaucoup de calculs pour solutionner le jeu. Pourtant les messages électroniques véhiculent plus vite que les messages des neurones humaines à ce qui parait. La différence vient d'une organisation neuronale (pour l'homme bien-sûr) tellement complexe que nous sommes dépassés pour l'expliquer, du moins pour l'instant et je ne pense pas que les neurologues experts me contrediront...

[invited494020f]

l'intelligence c'est l'efficacité.

Non,non et non! L'efficacitén'est qu'une des manifestations mineures de l'intelligence. J'ai une femme de ménage d'une efficacité redoutable, mais j'ai des doutes sur son intelligence.

toi tu as travaillé dans l'IA et que cela a fermé certaines possiblités en confondant impossibilité réelle et impossibilité due aux règles de programmation ?

Critique classique de l'amateur au professionnel soi-disant enfermé dans sa tour d'ivoire ou dans la "science officielle".
Tu as la possibilité de démontrer ce que tu affirmes: apprends la programmation (en fait les programmations, il y en a des tas) IA et conçois un tout petit programme "efficace", qui soit en même temps "intelligent" dans le sens qu'on donne à l'intelligence humaine. Je te garantis le prix Nobel.
Amicalement paulb.

[pi-r2]

Si tu vois mon attitude comme une critique, nous ne pourrons pas discuter car nous passerions en mode conflictuel.
Pour l'intelligence, efficacité s'entendait efficacité pour le traitement des calculs (au sens large incluant les algorithmes).
J'aime beaucoup ta suggestion et j'y travaille, mais je suis confronté à un problème très simple: le manque de temps. J'ai besoin d'argent, donc je travaille, j'ai une famille, des loisirs. Cela laisse peu de temps pour faire autre chose. C'est pourquoi je cherche à gagner du temps avec l'aide de ceux qui ont déjà appris un certain nombre de choses. Mais il est très difficile de communiquer et faire comprendre mon point de vue, d'autant plus quand on est pas du domaine et qu'on n'a pas écrit de publications.
J'ai déjà crée le langage de base qui est une version simplifiée du LISP. un langage informatique qui contient une et une seule instruction et qui pourtant peut faire tout ce qu'un autre langage peut faire. C'est un langage théorique, parfaitement inefficace pour des applications pratiques mais qui permet de décortiquer la complexité en étapes simples, toujours les mêmes (une seule instruction).
Apprendre la programmation actuelle ne sert à rien car maintenant programmer c'est prendre des boites pré existantes et les relier entre elles (programmation objet). Or les boites sont déjà limitées.

NB: le prix nobel, ne m'intéresse pas, je te rassures. Je m'intéresse juste à un modèle capable d'aider à comprendre l'intelligence humaine.
Je suis d'accord sur le fait qu'il suffit de réaliser ce programme pour trancher la discussion. J'aurais juste aimé gagner du temps sur cette étape.

[invited494020f]

Je me sens submergé! Ainsi je vous demande à tous la même chose qu'à pi-r2:

Vous avez tous la possibilité de démontrer ce que vous affirmez: apprenez la programmation (en fait les programmations, il y en a des tas) IA et concevez un tout petit programme "efficace", qui soit en même temps "intelligent" dans le sens qu'on donne à l'intelligence humaine et "conscient" dans le même sens. Je vous garantis le prix Nobel et une renommée égale à celle d'Archimède. Bien entendu, il vous incombe de prouver cette intelligence et cette conscience. En attendant je peux vous assurer que vous parlez avec beaucoup d'autorité de choses que vous ne connaissez pas.

Amicalement paulb.

[erik]

un langage informatique qui contient une et une seule instruction et qui pourtant peut faire tout ce qu'un autre langage peut faire

Ah ? Une seule instruction ? j'aimerais bien en savoir plus. Je ne vois pas comment un langage (même theorique) puisse etre fonctionnel/valide avec seulement une seule instruction.

[pi-r2]

Paulb, le protocole que tu proposes est individuel et donc moins efficace qu'un protocole de coopération. Apprendre seul dans son coin et bricoler dans son garage, c'est toute l'histoire des découvertes scientifiques. Quelle perte de temps. Mais tu as raison, je perds mon temps à discuter plutôt qu'à agir. Je vais donc reprendre mon petit bout de programme avec mes faibles connaissances et mon efficacité rien qu'à moi et continuer à le faire grandir.

NB: essaie un peu de prouver qu'un autre humain est conscient ...

[invite40d1dd91]

Très bien, pour ma part, je m'incline devant ton grand savoir et ton expérience en programmation IA.

Il est donc impossible de créer un programme "intelligent" au sens de l'intelligence humaine

L'humain est donc un être dont l'intelligence est impalpable, la compréhension scientifique impossible.

En attendant je peux t'assurer que tu parles avec beaucoup d'autorité d'un domaine que tu connais pourtant bien : L'intelligence humain est impossible à reproduire.

Dans le cas de ta femme de ménage, je pense que si celle ci est très efficace, elle doit avoir une grande intelligence du ménage... rien ne permet pas de juger de son intelligence.

De la même manière, un programme efficace n'est pas necessairement intelligent mais son programmateur est intelligent mais pas forcement efficace, ça dépend du temps qu'il aura mis

[invited494020f]

Si tu vois mon attitude comme une critique, nous ne pourrons pas discuter car nous passerions en mode conflictuel.

A éviter à tout prix!

Pour l'intelligence, efficacité s'entendait efficacité pour le traitement des calculs (au sens large incluant les algorithmes).

OK, donc c'est seulement une manifestation d'intelligence.

J'aime beaucoup ta suggestion et j'y travaille, mais je suis confronté à un problème très simple: le manque de temps. J'ai besoin d'argent, donc je travaille, j'ai une famille, des loisirs. Cela laisse peu de temps pour faire autre chose. C'est pourquoi je cherche à gagner du temps avec l'aide de ceux qui ont déjà appris un certain nombre de choses. Mais il est très difficile de communiquer et faire comprendre mon point de vue, d'autant plus quand on est pas du domaine et qu'on n'a pas écrit de publications.

Nous en sommes tous là, plus ou moins.

J'ai déjà crée le langage de base qui est une version simplifiée du LISP. un langage informatique qui contient une et une seule instruction et qui pourtant peut faire tout ce qu'un autre langage peut faire. C'est un langage théorique, parfaitement inefficace pour des applications pratiques mais qui permet de décortiquer la complexité en étapes simples, toujours les mêmes (une seule instruction).
Apprendre la programmation actuelle ne sert à rien car maintenant programmer c'est prendre des boites pré existantes et les relier entre elles (programmation objet). Or les boites sont déjà limitées.

Le vrai langage de programmation, c'est L'ASSEMBLEUR! C'est celui des VRAIS programmeurs et se trouve à la base de tous les autres langages informatiques qui TOUS sont COMPILES en assembleur que la machine exécute. Vouloir programmer en ignorant l'assembleur revient à vouloir écrire un roman sans connaître l'alphabet. C'est comme certains participants à ce forum qui abordent de grands problèmes mais qui ignorent l'orthographe (ce n'est pas ton cas).

Je m'intéresse juste à un modèle capable d'aider à comprendre l'intelligence humaine.

Vaste programme, aurait dit le Général!
Amicalement paulb.

[invited494020f]

L'intelligence humain est impossible à reproduire.

Est-ce une affirmation? Je serais encore assez d'accord, en nuançant:
Avec nos connaissances actuelles, l'intelligence humaine ne peut être que simulée et non reproduite à l'identique. De même pour la conscience.
Il ne faut jamais engager l'avenir! Il y a des prix Nobel à prendre.
Amicalement paulb.

[invite40d1dd91]

Salut Paulb,

Non c'était un pointe d'ironie.

l'intelligence humaine ne peut être que simulée et non reproduite à l'identique.

Avec le temps la technologie s'améliore et la précision de la simulation augmente.

Alors ne penses tu pas, qu'un jour il sera possible d'avoir un simulation tellement ressemblente qu'il sera impossible de faire la différence avec l'intelligence humaine ?

D'ailleur, un programme qui imite parfaitement l'intelligence n'est il pas intelligent ?

l'intelligence humaine est complexe mais fini, je ne comprend pas pourquoi elle ne serai que simulable partiellement et pas completement ??? Merci d'éclairer ma lanterne

Pardon pour les fautes d'orthgraphes

[invite40d1dd91]

Mais je fais l'analogie avec la biologie, et jusque là, je ne vois toujours pas pourquoi une simple petite cellule totalement dépourvue d'intelligence peut donner systématiquement un être intelligent et qu'il ne serait pas possible de partir d'un programme totalement inintelligent qui se développe de manière analogue en un programme intelligent.

ça me rappelle mon prof de génie logiciel qui nous disait qu'un neurone seul est très con mais que l'assemblement de plein de petites choses connes peut donner quelque chose d'intelligent.

De la même manière, une reunion de choses intelligentes peut donner quelques chose de très con (Cf: l'humanité)

[pi-r2]

Le vrai langage de programmation, c'est L'ASSEMBLEUR! C'est celui des VRAIS programmeurs et se trouve à la base de tous les autres langages informatiques qui TOUS sont COMPILES en assembleur que la machine exécute.

Je suis d'accord avec cela. J'irais même en dessous de l'assembleur qui désigne déjà un langage en texte, proche du langage de la machine, pour aller au langage de la machine (mais je pense que c'est ce dont tu voulais parler).
Je rajoute 2 bémols:
1/ l'assembleur a évolué avec le temps, en incluant progressivement des fonctions avancées (voire très avancées) directement écrites en hardware dans les processeurs dans un processus d'apprentissage guidé par les humains développeurs
2/ le language machine suppose une structure de processeur sous-jacente. Il se peut que l'on décide de changer la structure des processeurs, ce qui modifie le langage de la machine.

L'alphabet de l'assembleur peut encore être réduit (ce qui est le contraire de la tendance mentionnée en 1/ de compliquer les processeurs), à un ensemble plus compact, avec moins d'instructions. L'intérêt est de pouvoir ensuite générer tous les codes possibles pour pouvoir les tester. Seulement comme le nombre de codes à tester est très grand, il faut des critères pour éliminer les codes qui peuvent l'être à coup sûr.
Je regarderai dans le cadre de mon langage la liste des éléments de l'assembleur qui suffisent pour programmer (le pointeur, 1 registre ou plus, les instructions d'écriture/lecture indirectes en mémoire, et une gestion de la mémoire).

[JPL]

Avez-vous remarqué comment raph93 a lancé la discussion par un seul message, et s'est éclipsé sur la pointe des pieds en laissant les autres s'eng...... sur ce qu'est ou ce que peut faire l'intelligence artificielle ?

[invite0e4ceef6]

bien vu JPL, L'IA est un joli troll pour site de science, autant parler de la difference entre linux et windows sur un forum informatique... hihihi...

[Rhedae]

Bonjour, peut on reelement parlé de nuisance avec l'intelligence ? Si quelque chose est intelligent , il ne nuit pas, ca me parait logique . Si un homme ou une machine nuit a un homme ou un environnement peut on qualifier son action d'intelligente ?

[invite40d1dd91]

Et bien "nuire" est une question de point de vue.

Dans notre cas, le problème se pose si la machine nuit à l'homme.

Et certains scientifiques (je ne me souvient pas de la source :'( ) ont déjà imaginés qu'il est tout à fait possible qu'une espèce intelligent survive au dépend des autres espèces. (L'homme est peut-être une tel espece)

Donc, je ne vois pas pourquoi une IA intelligente, à la pensé indépendante et libre, ne pourrait pas nuire à l'homme. Si cette IA est intelligente, elle peut avoir des intérets divergeant de ceux des humains et donc leur nuire...

PS: Je sens que PaulB ne va pas aimer quand je dis "IA intelligente"

[invite72b32a1f]

Donc, je ne vois pas pourquoi une IA intelligente, à la pensé indépendante et libre, ne pourrait pas nuire à l'homme. Si cette IA est intelligente, elle peut avoir des intérets divergeant de ceux des humains et donc leur nuire...

Ouais mais si elle était veritablement intelligente, l'IA developperait une coopération avec l'homme et ne lui nuierait pas, non ?

Je serais plutot d'accord avec Rhedae.

[invite765732342432]

Ouais mais si elle était veritablement intelligente, l'IA developperait une coopération avec l'homme et ne lui nuierait pas, non ?

Intelligente ne veut pas dire morale...
Préférer arbitrairement la coopération à l'élimination est une question morale sans rapport avec l'intelligence.