Sommes nous une simple machine?

[Amanuensis]

Facile.

Suffit de définir les termes "machine" et "conscience" de manière que par définition une machine ne peut pas être consciente.

Pour lutter contre cela, faut propose des définitions n'ayant pas cette propriété ni la propriété inverse (pas trop dur) et les faire accepter par "l'autre camp" (difficile, voire impossible).

Les discussions comme celles-ci sont toujours fondamentalement pourries par l'usage de termes mal définis et surtout définis unilatéralement de manière ad-hoc, ce côté ad-hoc n'étant pas admis, au nom par exemple "d'évidences", qui, en fait, ne sont que des a priori contenant la conclusion qu'on défend.
-----

[gandhalf.legris]

Certes, mais dans ce cas on ne peut pas utiliser ce critère de conscience pour une machine , pas plus que pour un autre humain, vu qu'on ne sera jamais le Je de cette machine.
Donc quel critère utiliser pour décider si une machine donnée est consciente ou non ?

vous pourriez poser la meme question concernant un être humain

[myoper]

oui du style que ce n'est pas reproductible en permanence mais ne peut on pas quand même tenter l'approche scientifique ?
la croyance bien souvent va aussi avec l'afaiblissement psychique des croyants

Dès qu'on peut tenter l'approche scientifique de l'hypothèse, on sort du dilemme mais il sera presque (?) toujours possible d'imaginer un sénario qui échappe aux possibilités d'investigations scientifiques.

Où serait le problème? C'est la même chose pour les questions religieuses majeures.

(Au passage rappeler le nounours vert peut être mal vu, et donc mal venu, car cela véhicule une connotation méprisante. Qu'on refuse de discuter dans ce forum les questions religieuses n'implique pas le mépris.)

Aucun problème, heureusement, de mon point de vue car ça laisse un espace de croyances personnelles bienvenues du point de vue du fonctionnement humain.
Toute métaphore illustrant une erreur véhiculera donc alors toujours une connotation méprisante et pourquoi pas la mise en évidence d'une erreur qui renvoie à une ignorance de l'intervenant. Alors que faire ?

[sunyata]

Bonjour,
Je propose qu'on demande à une machine si elle se considère comme une simple être humain.
Cordialement,

Cette phrase ne peut être comprise que si on admet a priori qu'un humain n'est pas une machine (i.e., que le terme "machine" n'inclut pas les humains).

Non pas du tout, c'est une invitation à inclure toutes les parties prenantes dans le débat.

Cordialement,

[b@z66]

Le problème de la conscience, c'est qu'elle est quelque chose de personnelle, de privée(je pense donc je suis) et qu'au fond on ne peut pas être sûre que les autres personnes ont aussi une "conscience" personnelle ou une intelligence semblable à la notre(comme on est déjà sûr que nous ne voyons pas tous de la même manière, par ex les daltoniens). Le fait est déjà que nous ne savons pas aussi si les animaux autres que les humains ont une conscience(une mouche ou une bactérie ont-elles une conscience?) alors se le demander pour les machines... Tout cela vient de la définition même de la conscience de soi qui est par essence quelque chose de refermé sur elle-même: il est donc impossible de démontrer que tel ou tel autre objet autre que nous-même à une conscience de soi. Après, on peut s'intéresser à la conscience de "l'environnement extérieur" et, dans ce cas là, le débat peut effectivement être plus ouvert et moins stérile puisque l'on peut trouver des analogies avec certains mécanismes.

[pi-r2]

bonjour,

dans ce cas aucun argument tournant autour de la conscience ne peut être utilisé pour répondre à la question du titre: "sommes nous une simple machine".
D'ailleurs, je suis une machine. Et pourtant je pense, je suis, moi aussi.

[mh34]

Tant qu'on n'aura pas une définition commune de la conscience, en effet.

[Amanuensis]

Pas si clair. Le terme "machine" intervient aussi.

On peut très bien admettre une définition de la conscience telle que la question "Suis-je xxx?", quoi que soit xxx, implique que l'entité posant la question est consciente si le mot "je" est utilisé à bon escient.

Pourtant, même ainsi, on ne peut pas répondre à "Suis-je une machine?" faute d'une définition de "machine". (C'est ce que pi-r2 souligne dans son dernier paragraphe.)

L'argument supplémentaire proposé par ailleurs est que la définition de "machine" ne peut pas être telle qu'une machine soit consciente.

Et cet argument est basé sur le "déterminisme mécanique": si on définit "machine" comme un assemblage de particules dont le comportement est entièrement dicté par des lois microscopiques déterministes (ce qu'on peut lié au réductionnisme), alors une machine ne peut être consciente, l'usage du "je" ne serait qu'une tricherie, un automatisme ne pouvant pas refléter la conscience.

Il me semble que c'est bien plus ce qu'est supposé impliquer le terme "machine" qui est le point d'achoppement.

[Kozuke]

Certes, mais dans ce cas on ne peut pas utiliser ce critère de conscience pour une machine , pas plus que pour un autre humain, vu qu'on ne sera jamais le Je de cette machine.
Donc quel critère utiliser pour décider si une machine donnée est consciente ou non ?

Oui, je disais ça pour répondre à illusionoflogic. Un critère pouvant être utilisé pour vérifier si une machine est consciente, à mon sens, ce serait de déterminer si la machine serait prête à tuer pour éviter d'être débranchée.

Et cet argument est basé sur le "déterminisme mécanique": si on définit "machine" comme un assemblage de particules dont le comportement est entièrement dicté par des lois microscopiques déterministes (ce qu'on peut lié au réductionnisme), alors une machine ne peut être consciente, l'usage du "je" ne serait qu'une tricherie, un automatisme ne pouvant pas refléter la conscience.

Pourtant, c'est exactement ce que fait le réductionnisme "fort" s'agissant de l'être humain. C'est bien ça qui a fait dire a JP Changeux que dans un futur proche, il pourrait prévoir toutes les pensées présentes et futures d'un sujet, comme Laplace pour l'univers.

[Amanuensis]

Pourtant, c'est exactement ce que fait (...)

Ben oui, les deux points de vue sont possibles. Où est le problème? Pourquoi "Pourtant"?

Un critère pouvant être utilisé pour vérifier si une machine est consciente, à mon sens, ce serait de déterminer si la machine serait prête à tuer pour éviter d'être débranchée.

Vous admettez que ce serait possible? Ou vous citez cela avec en sous-jacent l'idée qu'il est impossible qu'une machine ait ce comportement?

[pi-r2]

Et cet argument est basé sur le "déterminisme mécanique": si on définit "machine" comme un assemblage de particules dont le comportement est entièrement dicté par des lois microscopiques déterministes (ce qu'on peut lié au réductionnisme), alors une machine ne peut être consciente

Même pas ! cela est adapté uniquement pour les machines simples. Les machines qui sont en interaction réelles avec leur environnement (c'est à dire qui tiennent compte de l'état de leur environnement tel qu'il est capté par leurs perceptions) ne peuvent déjà plus être considérées comme déterministes !
--> Une google car n'a pas un comportement calculable (puisque ce qu'elle va faire va dépendre de variables d'environnement considérées comme imprévisibles, le piéton qui déboule)

[Kozuke]

Ben oui, les deux points de vue sont possibles. Où est le problème? Pourquoi "Pourtant"?

Il n'y a pas de problème ; j'étais simplement étonné que tu dises "si on définit "machine" comme un assemblage de particules dont le comportement est entièrement dicté par des lois microscopiques déterministes (ce qu'on peut lié au réductionnisme), alors une machine ne peut être consciente". C'est l'inférence qui m'a échappé.

[mh34]

Il me semble que c'est bien plus ce qu'est supposé impliquer le terme "machine" qui est le point d'achoppement.

A ce sujet, j'ai retrouvé ce fil ; http://forums.futura-sciences.com/ne...s-pensent.html et en particulier le même problème, ou plutôt la même question, posée ici http://forums.futura-sciences.com/ne...ml#post3174378 par Gilles...et pas plus de réponses!

[Amanuensis]

Un critère pouvant être utilisé pour vérifier si une machine est consciente, à mon sens, ce serait de déterminer si la machine serait prête à tuer pour éviter d'être débranchée.

[Aparté] On pourrait voir assez vite des comportements de ce genre. Je pense à la sécurité en aviation. On pourrait imaginer que le les automatismes de l'avion, qu'on peut voir comme "l'avion", soient conçus de manière à mettre comme but premier d'atterrir en bon état (ce qu'on peut rapprocher de "éviter d'être débranchée"), et que cela puisse amener à mettre à bord un système de "neutralisation des pilotes humains" dans le cockpit, avec passage en pilotage automatique, si l'avion décide que ces pilotes sont susceptibles de violences pouvant l'empêcher d'atteindre son but premier (cela suppose une évaluation qu'on pourrait appeler "degré de confiance de l'avion dans les pilotes humains"). Je pense évidemment à l'accident d'un appareil de Germanwings en début d'année.

[pi-r2]

Forcément, quand on a des démonstrations du type: mon ordinateur là devant moi n'est pas intelligent donc aucune machine ne sera jamais intelligente, on a un peu du mal à continuer le débat...

[Amanuensis]

Il n'y a pas de problème ; j'étais simplement étonné que tu dises "si on définit "machine" comme un assemblage de particules dont le comportement est entièrement dicté par des lois microscopiques déterministes (ce qu'on peut lié au réductionnisme), alors une machine ne peut être consciente". C'est l'inférence qui m'a échappé.

C'est l'inférence que vous faites, non?

La méprise est peut-être que vous pensez que j'exprimais une opinion personnelle. Non, je me contente d'examiner et d'étudier les raisonnements en présence.

[Amanuensis]

A ce sujet, j'ai retrouvé ce fil ; http://forums.futura-sciences.com/ne...s-pensent.html et en particulier le même problème, ou plutôt la même question, posée ici http://forums.futura-sciences.com/ne...ml#post3174378 par Gilles...et pas plus de réponses!

Plus exactement plusieurs réponses (et le même nombre?), dont pas une seule qui serait admissible actuellement au sens d'un critère d'admissibilité qui serait agréé par tout le monde.

[Kozuke]

Vous admettez que ce serait possible? Ou vous citez cela avec en sous-jacent l'idée qu'il est impossible qu'une machine ait ce comportement?

(Je n'avais pas vu cette question.) J'admets que c'est possible. Je n'ai jamais dit que j'avais une certitude ; j'ai juste des doutes.

[Aparté] On pourrait voir assez vite des comportements de ce genre. Je pense à la sécurité en aviation. On pourrait imaginer que le les automatismes de l'avion, qu'on peut voir comme "l'avion", soient conçus de manière à mettre comme but premier d'atterrir en bon état (ce qu'on peut rapprocher de "éviter d'être débranchée"), et que cela puisse amener à mettre à bord un système de "neutralisation des pilotes humains" dans le cockpit, avec passage en pilotage automatique, si l'avion décide que ces pilotes sont susceptibles de violences pouvant l'empêcher d'atteindre son but premier (cela suppose une évaluation qu'on pourrait appeler "degré de confiance de l'avion dans les pilotes humains"). Je pense évidemment à l'accident d'un appareil de Germanwings en début d'année.

Oui, c'est vrai, ce seraient des cas à éliminer. Mais sommes-nous d'accord pour dire que théoriquement, en l'absence de conscience, une machine n'ayant pas été spécifiquement programmée pour neutraliser des humains (le cas échéant) ne le fera jamais ?

C'est l'inférence que vous faites, non?

Non.

La méprise est peut-être que vous pensez que j'exprimais une opinion personnelle. Non, je me contente d'examiner et d'étudier les raisonnements en présence.

Ok ok.

[myoper]

Oui, je disais ça pour répondre à illusionoflogic. Un critère pouvant être utilisé pour vérifier si une machine est consciente, à mon sens, ce serait de déterminer si la machine serait prête à tuer pour éviter d'être débranchée.

En premier abord, ça semble correct sauf si le fait d'essayer de tuer ceux qui tentent de la débrancher résulte d'une routine de programmation (on peut même envisager que ce soit la seule routine de programmée).
[Edit: doublon avec le message 194]
Par contre, si le point est dans le terme "prête à", on en revient à trouver les critères qui montreraient cette intention en tant qu'intention.

[pi-r2]

Mais sommes-nous d'accord pour dire que théoriquement, en l'absence de conscience, une machine n'ayant pas été spécifiquement programmée pour neutraliser des humains (le cas échéant) ne le fera jamais ?

Non. Si on fait des programmes adaptatifs, laissant une autonomie de décision à la machine, elle peut très bien décider de neutraliser des êtres humains.
Vous avez tous une vision bien trop restrictive des "programmes". Par exemple, la machine que tu utilises pour communiquer avec moi a-t-elle été programmée pour écrire aujourd'hui à 10:55

Mais sommes-nous d'accord pour dire que théoriquement, en l'absence de conscience, une machine n'ayant pas été spécifiquement programmée pour neutraliser des humains (le cas échéant) ne le fera jamais ?

?
Non, elle l'a fait parce qu'elle s'est adaptée à son environnement , comme elle est programmée pour le faire. Et son environnement est complexe et a interagi avec ses capteurs (ici son clavier) pour lui transmettre des informations.

[Kozuke]

Non. Si on fait des programmes adaptatifs, laissant une autonomie de décision à la machine, elle peut très bien décider de neutraliser des êtres humains.
Vous avez tous une vision bien trop restrictive des "programmes".

Je voulais préciser, mais c'était trop tard : "sommes-nous d'accord pour dire que théoriquement, en l'absence de conscience, une machine n'ayant pas été spécifiquement programmée pour neutraliser des humains (le cas échéant) ne le fera jamais pour éviter d'être débranchée ?"

Vous allez me dire que je fais appel à une notion d'intention qui ne fait que repousser le problème. Mais pourtant, ça doit être testable.

[myoper]

L'intention fait appel à la notion d'avoir conscience de vouloir faire quelque chose et on se retrouve à chercher une conscience...

[Amanuensis]

à trouver les critères qui montreraient cette intention en tant qu'intention.

Discuter la notion d'intention rencontre le même genre de difficultés que discuter la notion de conscience.

[Croisement ]

[pi-r2]

Je voulais préciser, mais c'était trop tard : "sommes-nous d'accord pour dire que théoriquement, en l'absence de conscience, une machine n'ayant pas été spécifiquement programmée pour neutraliser des humains (le cas échéant) ne le fera jamais pour éviter d'être débranchée ?"

Biologiquement ça s'appelle l'instinct de survie, si on l'assimile à la conscience c'est vraiment une forme très primitive de conscience. Et je pense qu'on peut avoir ce genre de comportement sans nécessairement invoquer une conscience. Mais évidemment pour le constater sur une machine il faudrait des modes de programmation qui autorisent plus de liberté de réaction à l'environnement que ce que l'on fait actuellement. Une tondeuse automatique va déjà chercher "d'elle même" à aller se réalimenter quand sa batterie baisse. Si elle est assez grosse et qu'un humain essaye de la bloquer, ça peut mal finir. ça m'étonnerait que tu conclues à une "conscience" de la tondeuse.

[myoper]

Biologiquement ça s'appelle l'instinct de survie, si on l'assimile à la conscience c'est vraiment une forme très primitive de conscience. Et je pense qu'on peut avoir ce genre de comportement sans nécessairement invoquer une conscience.

D’accord avec ça. Si le comportement est très primitif et ce qui le sous tend très simple (programmation dans ce but ou réaction biologique pouvant être qualifiée de réflexe), je ne vais pas parler d'instinct ni donc de conscience (si je lui donne le premier, je lui donne la seconde).

[Kozuke]

On retombe sur le problème de la définition de la conscience. Soit dit en passant, étant donné que pour l'instant on ne sait pas l'observer autrement qu'à la première personne, à mes yeux le meilleur moyen de l'étudier demeure la méditation. Mais vous allez me dire que je sors du champ scientifique... Pourtant, la méditation ne repose sur aucune croyance ; elle repose uniquement sur l'observation. C'est pour ça qu'en ce qui me concerne, je maintiens qu'à l'heure actuelle, les mieux placés pour en parler sont les méditants.

Bref, si vous avez d'autres idées pour déterminer si une machine est consciente (à part le fait qu'elle se mette à tuer), je suis preneur.

[Qui]

Bonjour,

La conscience viendrait de notre capacité à nommer des êtres même trés abstrait.

[Kozuke]

On retombe sur le problème de la définition de la conscience. Soit dit en passant, étant donné que pour l'instant on ne sait pas l'observer autrement qu'à la première personne, à mes yeux le meilleur moyen de l'étudier demeure la méditation. Mais vous allez me dire que je sors du champ scientifique... Pourtant, la méditation ne repose sur aucune croyance ; elle repose uniquement sur l'observation. C'est pour ça qu'en ce qui me concerne, je maintiens qu'à l'heure actuelle, les mieux placés pour en parler sont les méditants.

Je précise (avant de me faire engueuler ) que l'un n'empêche pas l'autre. On peut pratiquer la méditation et étudier scientifiquement la conscience. Ces deux choses n'ont pas vocation à s'opposer, elles me paraissent complémentaires.

[Amanuensis]

Bref, si vous avez d'autres idées pour déterminer si une machine est consciente (à part le fait qu'elle se mette à tuer), je suis preneur.

Mon opinion (pour une fois) est qu'on ne trouvera rien "d'acceptable" a priori.

Par contre, on ne peut pas éliminer la possibilité qu'un jour des machines soient considérées comme conscientes, selon des critères qui seront établis a posteriori. Ou, autrement dit, le comportement de ces machines sera tel que le "sens commun" amènera à les traiter comme conscientes, avec un sens du mot qui sera alors clarifié pour être cohérent avec les usages effectifs.

Actuellement il n'y a pas de cas pratique amenant à se poser la question. L'obstacle avec les autres animaux est le langage (mais cet obstacle pourra être dépassé avec des machines artificielles). Du coup, il n'y pas de raison objective opposable à la restriction du terme "conscience" au seul cas reconnu, les humains (et pas seulement soi, au passage).

Faute de cas concret, une discussion actuelle, comme celle-ci, en est donc réduite à des spéculations, ce qui n'est pas suffisant pour faire admettre un élargissement du sens du mot "conscience" (ni non plus à un élargissement du sens du mot "machine").

[Kozuke]

Mon opinion (pour une fois) est qu'on ne trouvera rien "d'acceptable" a priori.

Par contre, on ne peut pas éliminer la possibilité qu'un jour des machines soient considérées comme conscientes, selon des critères qui seront établis a posteriori. Ou, autrement dit, le comportement de ces machines sera tel que le "sens commun" amènera à les traiter comme conscientes, avec un sens du mot qui sera alors clarifié pour être cohérent avec les usages effectifs.

Actuellement il n'y a pas de cas pratique amenant à se poser la question. L'obstacle avec les autres animaux est le langage (mais cet obstacle pourra être dépassé avec des machines artificielles). Du coup, il n'y pas de raison objective opposable à la restriction du terme "conscience" au seul cas reconnu, les humains (et pas seulement soi, au passage).

Faute de cas concret, une discussion actuelle, comme celle-ci, en est donc réduite à des spéculations, ce qui n'est pas suffisant pour faire admettre un élargissement du sens du mot "conscience" (ni non plus à un élargissement du sens du mot "machine").

Oui. En attendant ce moment, et pour revenir aux humains (dont personne a priori ne doute qu'ils soient dotés de conscience), je cite certains faits qui, me semble-t-il, mettent en difficulté l'hypothèse réductionniste :

- Il existe un cas relativement bien documenté, celui de 2 sœurs siamoises, Abigail et Brittany Hensel, qui ont chacune un tronc, un bras et une tête, mais qui ont un seul bassin pour deux (et une paire de jambres). Elles font du sport, et elles ont même passé leur permis de conduire (pourtant chacune contrôle un bras et une jambe...). Elles ont environ 25 ans aujourd'hui. Bref, il est intéressant de voir que nous avons là deux personnes qui ont le même génome, et qui ont vécu exactement les mêmes événements tout au long de leur vie. Autrement dit, elles ont le même inné et le même acquis. Et pourtant, elles ont deux personnalités très différentes. N'est-ce pas une preuve qu'il y a chez l'être humain quelque chose qui n'est ni réductible aux gènes, ni à l'éducation, ni aux événements de la vie ?

- Deuxième élément, Dominique Laplane a découvert par hasard qu'il existe chez certains sujets des états de "conscience vide" (chose que la méditation permet d'expérimenter au passage). Autrement dit, et contrairement à une idée largement répandue, la conscience peut exister à l'état pur, sans aucun contenu. Ça s'oppose à la conception réductionniste qui considère que la conscience n'est qu'une succession d'états de conscience.

- Troisième élément, qui mériterait peut-être une étude, il est arrivé à de nombreuses personnes, lors d'un accident de voiture par exemple, d'avoir l'impression que le temps ralentissait, que la scène se déroulait au ralenti. Ben Libet avait lui aussi effectué des expériences qui mettaient en évidence le fait que la conscience semble entretenir des rapports bizarres avec le temps. Il y a peut-être là une piste de recherche intéressante.

- Enfin, une autre expérience de Libet a montré qu'une grande partie de nos geste quotidiens se font indépendamment de notre conscience, parce que les processus cérébraux afférents s'effectuent avant que nous ayons conscience que nous allons faire tel ou tel geste. Et pourtant, Libet a montré que nous pouvons stopper des processus déjà commencés, ce qui donne sur les tracés des potentiels de préparation avortés (je résume). Quand on interroge le sujet, il répond qu'il a failli effectuer le geste, puis qu'il s'est repris au dernier moment. Il y a donc "quelque chose" en nous qui a le pouvoir de reprendre le contrôle de nos actes en s'opposant à un processus neuronal déjà commencé, comme une forme de libre-arbitre sur le mode du véto. Quel est donc ce "quelque chose" ?