Publication OZ : Expérience de radiesthésie

[nikoteen]

Bonjour,


L'Observatoire Zététique publie le résultat d'une étude en double-aveugle portant sur la pratique de la radiesthésie. Celle-ci s'est déroulée à Argenton les 17 et 18 mars 2007 en collaboration avec l'association CASAR de Francis Gatti.

Le protocole et toutes les données de l'expérience sont accessibles sur notre site à l'adresse :

http://zetetique.fr/page/doc.php?pub...n=1&ecritId=38

ou, en version PDF (plus complète) :

http://zetetique.fr/divers/oz-radiesthesie.pdf

Pour tout renseignement relatif à cette expérience ou à l'OZ en général, n'hesitez pas à nous contacter directement (voir nos coordonnées ci-dessous).

Cordialement,
---
Nicolas Vivant
-
Observatoire Zététique
http://www.observatoire-zetetique.org
-----

[Pio2001]

Excellent protocole.

J'apprécie particulièrement le point 4 où le sujet peut faire un entrainement et vérifier que tout marche bien dans les conditions du test. Trop souvent, un résultat négatif est balayé sous prétexte que "les conditions du test n'étaient pas bonnes".

J'apprécie également la parole donnée aux sujets lors de la conclusion. Il est essentiel que le sujet puisse commenter les raisons éventuelles de son échec.

En revanche, attention aux statistiques. Il est incorrect de considérer les trois résultats indépendamment les uns des autres. Il faut faire une analyse globale.
Imaginons qu'une autre équipe reprenne la même expérience et fasse trois autres séries.
Au total, la probabilité pour que l'une des six séries, les trois vôtres et celles de l'autre équipe, aboutisse à un succès complètement par hasard sera supérieure à 5 % !
En effet, la probabilité d'echec d'une série en cas de hasard est de 99%.
Donc elle est, sur six séries, de 0.99 puissance 6 = environ 0.94.
Donc il y a une probabilité d'environ 6% pour que, tout effet réel étant écarté, l'une des séries au moins remplisse tout de même les critères de réussite.

A proscrire : les tests séquentiels, où en cas d'échec on ré-essaye, et si cela ne fonctionne pas on recommence etc. Les probabilités de succès par chance deviennent vite assez élevées.
Il faut soit dépouiller les réponses à la fin de tous les essais, soit fixer le nombre total d'essais avant de commencer.
Cette dernière méthode a l'avantage de permettre au sujet du test pouvoir consulter son score à chaque essai, et de se réétaloner en cas d'erreur.

Il est toutefois possible de générer des tables de probabilités pour tests séquenciels, par simulation informatique, en utilisant un générateur de nombres aléatoires.

Lorsque j'organise des tests, je préconise de réaliser une série d'essais, et de ne commencer l'expérience réelle que lorsque le sujet est capable de réaliser un certain score lors de cette série.
Cela évite la multiplication des séries d'essais,qui mènerait inévitablement à l'apparition de séries statistiquement significatives par hasard.

La présence de deux assesseurs n'est pas superflue, j'en sais quelque chose.
J'ai vu un test ABX réussi à 10/10 parmi 5 sujets dans un test de câbles haute-fidélité. Cela correspondait grossièrement à une probabilité de succès par hasard de 0.5 % (1/1024 multiplié par 5 participants).
En demandant une copie des fiches individuelles à l'organisateur, on a constaté que le sujet en question avait fait non pas 10/10 mais 8/10 seulement, ce qui divise par 50 la pertinence du résultat !
La probabilité d'obtenir par chance un ensemble de scores (je dis bien ensemble de scores,et non score individuel) au moins aussi bon montait alors à 25 %.

[Etile]

Bonjour,
Je trouve tout de même que ce genre d'expérience est une perte de temps. Des dizaines en ont déjà été faites pour infirmer ce type de croyances, alors pourquoi vouloir sans cesse essayer de les infirmer à nouveau ?
Il serait plus judicieux de se focaliser sur les nouvelles croyances émergentes et à la mode, voir même d'essayer de comprendre pourquoi un tel engouement subsiste toujours envers ce type de pratiques.
Bref, votre experience est tout de même très bien faite.

[nikoteen]

Bonjour Pio2002, et merci pour cette réponse étayée.

En revanche, attention aux statistiques. Il est incorrect de considérer les trois résultats indépendamment les uns des autres. Il faut faire une analyse globale.

Nous étions tenus de le faire car ce sont bien 3 expériences différentes. Dans le cadre d'une publication scientifique, il est probable que nous n'aurions fait état que de la 3ème (32 essais). Je m'explique.

Quand nous avons pu grouper les données, nous l'avons fait. C'est le cas de la 3ème expérience, effectivement constituée de 3 séries (2 séries de 10 essais et 1 série de 12 essais). Mais les deux expériences précédentes étaient différentes :

La première (7 essais), a été réalisée par un radiesthésiste différent (M. R.), avec des instruments différents (un pendule) selon une méthodologie (radiesthésique) différente.

La seconde a été réalisée par M. B. avec un échantillon différent (terre en provenance d'un site d'atterrissage -supposé- d'OVNI). Cet échantillon était placé au milieux de 9 autres échantillons de métal.

Les radiesthésistes (et les organisateurs) étaient demandeurs de 3 analyses différentes et comme les paramètres variaient dans ces 3 cas, nous avons nous aussi préféré les traiter indépendamment. Scientifiquement, cela n'était pas forcément nécessaire et il est vrai qu'en groupant les 3 expériences nous aurions eu une masse de données supérieure (et nous aurions donc gagné en précision dans notre analyse statistique). Mais en les séparant, nous évitions aussi des remarques du type « comment pouvez-vous tirer des conclusions générales d'expériences aussi différentes ? » de la part de la communauté des radiesthésistes. Voilà pour les raisons de notre choix.

Cordialement,
-- Nicolas Vivant.

[A voir en vidéo sur Futura]

[nikoteen]

Bonjour Étile,

Bonjour,
Je trouve tout de même que ce genre d'expérience est une perte de temps. Des dizaines en ont déjà été faites pour infirmer ce type de croyances, alors pourquoi vouloir sans cesse essayer de les infirmer à nouveau ?

Quelques expériences ont déjà été réalisées, c'est vrai. Mais pas des dizaines. Nous ne cherchions pas à infirmer quoi que ce soit mais à vérifier par nous-mêmes les allégations radiesthésiques (et aussi en savoir plus sur leur théorie et leur pratique). Si notre travail vient effectivement s'ajouter à un corpus existant, tant mieux.

Il serait plus judicieux de se focaliser sur les nouvelles croyances émergentes et à la mode, voir même d'essayer de comprendre pourquoi un tel engouement subsiste toujours envers ce type de pratiques.

Nous essayons de le faire aussi. Cf. nos dossiers sur les « fleurs de Bach » ou la « psychogénéalogie », par exemple. Pour information, nous collaborons régulièrement avec l'ADFI (Association de Défense de la Famille et de l'Individu, spécialisée dans la lutte contre les dérives sectaires) autour des ces problématiques et une protocole autour de la kinésiologie est en cours d'élaboration.

Bref, votre experience est tout de même très bien faite.

Merci à vous

Cordialement,
-- Nicolas Vivant.

[Pio2001]

Les radiesthésistes (et les organisateurs) étaient demandeurs de 3 analyses différentes et comme les paramètres variaient dans ces 3 cas, nous avons nous aussi préféré les traiter indépendamment. Scientifiquement, cela n'était pas forcément nécessaire et il est vrai qu'en groupant les 3 expériences nous aurions eu une masse de données supérieure (et nous aurions donc gagné en précision dans notre analyse statistique). Mais en les séparant, nous évitions aussi des remarques du type « comment pouvez-vous tirer des conclusions générales d'expériences aussi différentes ? » de la part de la communauté des radiesthésistes. Voilà pour les raisons de notre choix.

Ce n'est pas ce que je voulais dire. Vous avez eu tout à fait raison de séparer les trois séries.
Ce que je veux dire c'est que la condition statistique de succès (score minimal) est définie pour chaque série. Or vous présentez le résultat de trois expériences.

Statistiquement, la donnée "les expériences ont été un échec", qui est pertinente dans le cas de votre compte-rendu, est complètement différente de la donnée "l'expérience 1 a été un échec" ET "l'expérience 2 a été un échec" ET "l'expérience 3 a été un échec".
Or c'est cette dernière évaluation que vous présentez au final.

Le seuil de fiabilité a été fixé pour chaque expérience à 1 %. Mais comme il y a trois expériences, le seuil de fiabilité de l'ensemble (1 ET 2 ET 3) se transorme en quelque chose d'au moins égal à 3 %.
En effet, si l'expérience 1 ne conduit pas à un faux succès (erreur de type I), il reste une chance pour que l'expérience 2 le fasse, et encore une autre chance pour que cela arrive lors de l'expérience 3.

Si trois expériences exactement avaient été prévues au départ, le seuil exact aurait été de
1-(1-0.01)^3 = 0.029701 (environ 3 %).

Donc si l'une des expériences avait réussi, avec le seuil fixé à 1% de chances de faux succès, le compte-rendu aurait nécessairement du mentionner une confirmation de la radiésthésie avec une probabilité de faux succès de 3 % et non de 1 %.

Quand nous avons pu grouper les données, nous l'avons fait. C'est le cas de la 3ème expérience, effectivement constituée de 3 séries (2 séries de 10 essais et 1 série de 12 essais).

Il serait intéressant de savoir ce qui a motivé la réalisation de trois séries.
Il n'est possible de grouper ainsi les résultats que si les résultats des premières séries n'est pas dévoilé avant la fin de la dernière série.

En effet, si les radiesthésistes, constatant l'échec d'une série, déterminent des causes possibles, ils peuvent proposer des séries supplémentaires dans des conditions différentes. C'est la spirale infernale des tests séquenciels.
(discussion sur les tests en aveugle séquenciels : http://www.hydrogenaudio.org/forums/...howtopic=15192 )

[nikoteen]

Statistiquement, la donnée "les expériences ont été un échec", qui est pertinente dans le cas de votre compte-rendu, est complètement différente de la donnée "l'expérience 1 a été un échec" ET "l'expérience 2 a été un échec" ET "l'expérience 3 a été un échec".
Or c'est cette dernière évaluation que vous présentez au final.

Il me semble pourtant que dans le rapport nous précisons bien que « 3 expériences indépendantes ont été réalisées » et nous avons fait une analyse statistique pour chacune d'entre elle. Quelle est « cette dernière évaluation » dont vous parlez ?

Donc si l'une des expériences avait réussi, avec le seuil fixé à 1% de chances de faux succès, le compte-rendu aurait nécessairement du mentionner une confirmation de la radiésthésie avec une probabilité de faux succès de 3 % et non de 1 %.

C'est juste, mais nous n'avons pas fait d'analyse statistique globale, sauf erreur.

Il serait intéressant de savoir ce qui a motivé la réalisation de trois séries.

Question de temps, simplement. Il faut parfois manger, aller aux toilettes, continuer à vivre, en somme . Le travail s'est déroulé sur deux jours et les radiesthésistes étaient incapables de nous indiquer, dans les semaines de préparation qui ont précédé l'expérience, le temps qu'il leur faudrait pour réaliser un essai. Il a donc fallu prévoir des interruptions. Chaque interruption marquait la fin d'une « série ». C'est expliqué dans le protocole, me semble-t-il.

Il n'est possible de grouper ainsi les résultats que si les résultats des premières séries n'est pas dévoilé avant la fin de la dernière série. En effet, si les radiesthésistes, constatant l'échec d'une série, déterminent des causes possibles, ils peuvent proposer des séries supplémentaires dans des conditions différentes. C'est la spirale infernale des tests séquenciels. (discussion sur les tests en aveugle séquenciels : http://www.hydrogenaudio.org/forums/...howtopic=15192 )

C'est bien ce que nous avons fait. Je vois au moins trois autres bonnes raisons pour cela :

- en constatant que les premiers résultats sont négatifs, le radiesthésiste pourrait décidér d'arrêter l'expérience parce que, pour une raison ou pour une autre, « ça ne marche pas ». Et nous aurions fait 12 heures de route pour revenir avec quasiment pas de données.

- en constatant que les premiers résultats sont négatifs, le radiesthésiste pourrait être tenté de tricher (de la même façon, en constatant que les premiers résultats sont positifs, le zététicien pourrait être tenté de tricher aussi).

- juste avant le dépouillement des résultats, nous tenions à avoir une discussion avec les radiesthésistes sur ce que nous (OZ et eux) dirions de l'expérience en cas de succès et ce que nous en dirions en cas d'échec. Il est psychologiquement plus facile de se mettre d'accord sur ce point avant de connaître le résultat et cela minimise sérieusement le risque de contestation a posteriori.

Cordialement,
-- Nicolas Vivant.

[Pio2001]

Il me semble pourtant que dans le rapport nous précisons bien que « 3 expériences indépendantes ont été réalisées » et nous avons fait une analyse statistique pour chacune d'entre elle. Quelle est « cette dernière évaluation » dont vous parlez ?

C'est bien cela, nous sommes d'accord. Je parle des analyses indépendantes que vous avez effectuées.
Ici, aucune expérience n'a été concluante. Donc analyses globales ou indépendantes, cela ne change pas la conclusion.

Par contre si une expérience avait été concluante, analyses globales et indépendantes auraient pu donner des conclusions contradictoires. Notamment l'analyse indépendante aurait pu démontrer que le radiésthésite a correctement identifié l'échantillon, tandis que l'analyse globale aurait conclu à l'absence de tout résultat s'écartant significativement du hasard dans les trois expériences, y compris dans celle ayant réussi.

Il est donc préférable de réfléchir à l'avance à ce qu'il faut conclure dans ce cas de figure.

Question de temps, simplement.
[...]
C'est bien ce que nous avons fait.

C'est parfait, mais cela va encore mieux en le disant. Merci pour cette précision . (D'importance critique dans le cas d'un succès "ras-les-pâquerettes", mais sans conséquence ici, comme pour le point précédent ).

- juste avant le dépouillement des résultats, nous tenions à avoir une discussion avec les radiesthésistes sur ce que nous (OZ et eux) dirions de l'expérience en cas de succès et ce que nous en dirions en cas d'échec. Il est psychologiquement plus facile de se mettre d'accord sur ce point avant de connaître le résultat et cela minimise sérieusement le risque de contestation a posteriori.

C'est une bonne idée, cela. Je n'y ai jamais pensé.

Que faites-vous si le sujet de l'expérience affirme qu'il est impossible qu'elle échoue ?

[nikoteen]

Bonsoir Pio2001,

Que faites-vous si le sujet de l'expérience affirme qu'il est impossible qu'elle échoue ?

Le cas ne s'est jamais présenté. Quand toutes les séries ont été réalisées (et même avant), le sujet se rend bien compte qu'il est dans une situation tout à faire inédite. Notamment parce que le double-aveugle est quelque chose qui est très rarement mis en place dans ce type de pratique (en fait nous n'avons jamais travaillé avec des magnétiseurs ou radiesthésistes, même très célèbres, qui avaient été confrontés à des conditions aussi controlées). Il réalise que personne (ni lui, ni nous) n'a la moindre idée de ce qu'a été sa performance. En même temps, il sait que bientôt chacun pourra l'apprécier. C'est un moment très particulier, assez bizarre, et en général peu propice à l'affirmation péremptoire. Le seul retour que nous avons eu à Argenton à ce moment-là est « en tout cas je n'ai pas eu d'hésitation »). Quand on est de l'OZ (et qu'on est un peu rompu à ce type d'exercice), on accueille cela avec un brin de satisfaction (parce que c'est un indice que les conditions de réalisation de l'expérience étaient correctes) teintée de crainte (parce qu'on sait que si les résultats sont négatifs, le choc risque d'être difficile à gérer).

Si le cas se présentait, je pense que nous en prendrions note et y ferions référence dans notre conclusion. Mais nous ne l'intégrerions pas dans notre analyse a posteriori. En fait, une simulation de l'analyse est faite bien avant de commencer l'expérience (et elle est jointe au protocole que nous transmettons aux sujets), sur la base d'un questionnaire que nous leur faisons passer et qui inclut une question sur la performance attendue. Si vous voulez y jeter un oeil, tout est là.

Quand, avant l'expérience, le sujet fait état d'une allégation précise (je réussis dans 80% des cas, par exemple) nous prévoyons, dans le cadre de l'analyse statistique, de la vérifier. Deux de nos adhérents les plus compétents en statistique ont pris l'excellente initiative de développer un outil en ligne qui nous permet (à nous, les incompétents avoués de la chose), de faire tout ce travail sans les embêter. Si vous voulez y jeter un oeil, c'est ici : http://zetetique.fr/stats. Vous verrez que toute l'analyse des 3 expériences est basée sur cet outil. Ce logiciel est public et nous encourageons ceux qui le souhaitent (et en ont le besoin) à l'utiliser.

Cordialement,
-- Nicolas Vivant.