Valeurs des sondages

[Quinto]

Bonjour,
si la valeur des sondages n'est pas à prouver, il faut faire attention aux interpétations que l'on en donne.

Si pour une question à laquelle seulement 2 réponses possibles sont offertes et que l'on effectue 2 sondages différents à 2jours d'intervalle sur un échantillon de 1000 personnes, afin de modéliser une population de plusieurs millions d'électeurs (entre 10 et 15), alors:

Sondage 1
- Le premier résultat donne
Proposition A à 51%
Proposition B à 49%

Sondage 2
- Le deuxième résultat donne
Proposition A à 49%
Proposition B à 51%

Les sondages sont effectués avec une fiabilité de 95% et avec une marge de + ou - 2.5 points

Pensez vous qu'il est clair que le sondage 2 montre une inversion de tendance par rapport au premier sondage?

Pour ma part il est clair qu'il n'y a a aucune différence entre les 2 simulations car les résultats sont trop sérrés.

Il est évident qu'aucune tendance ne se dégage clairement ici.
En revanche si un sondage antérieur donnait la proposition A gagnante avec un rapport de 2/3, 1/3 pour des tests effectués dans les mêmes conditions, là on conclue facilement quant à une perte de vitesse de A au profit de B.


Sans parler de ce que sont les propositions A et B, ni parler de l'élection en elle même, que pensez vous des interprétations que la majorité des journalistes font des sondages que l'on entend en ce moment.
Pensez vous réellement que ceux ci permettent réellement de conclure quant à une inversion de tendance d'un jour à l'autre, ou de la montée de A ou de B, dès lors que les estimations restent dans cette zone "floutée".

Pensez vous d'ailleurs qu'un sondage quelqu'il soit, qui donne deux propositions au coude à coude, ai une quelconque valeur scientifique?

ps: Ici il n'est pas question de parler du vote, mais bien des sondages. Il n'est pas non plus question de savoir si un sondage est représentatif de la population, chose qui n'est plus à prouver, mais de savoir si on peut en tirer des tendances claires, dans ces circonstances...
-----

[Cécile]

Une petite question de statistique (je n'ai pas la réponse).
tu indiques que pour un sondage avec deux réponses (oui/non) portant sur 1000 personnes représentatives, la fiabilité est de 95% et avec une marge de + ou - 2.5 points. Mais je suppose qu'on considère là que toutes les personnes répondent oui ou non. Or, une partie importante des gens ne savent pas encore pour quoi ils voteront.
Supponsons maintenant que sur les 1000 personnes, 500 ne donnent pas de réponse. QUe font les instituts de sondages : demandent-ils à d'autres personnes jusqu'à atteindre 1000 réponses Oui/non ? (auquel cas existe-il un biais statistique, autrement dit les indécis voteront-ils réellement comme les décidés ?). Ou font-ils le sondage avec les 500 réponses oui/non, auquel cas quel est la marge d'erreur ?
Pour le reste, je suis d'accord avec toi : presque tous les sondages sont trop proches de 50 % pour qu'on puisse dire quoi que ce soit. Et les journalistes et les instituts de sondage ne prennent pas assez de précautions et n'informent pas assez sur les limites des sondages.

[Narduccio]

Tu as raison Cécile. Mais la réponse a ta question est donnée par les instituts de sondages eux-mêmes. Quand ils communiquent leurs résultats, il y a une phrase du type: sur un échantillon représentatif de xxxx personnes. Le chiffre est souvent très proche de 1000. Ce qui veut dire qu'ils ont interrogés environ 1000 personnes parmis lesquelles, il y a un pourcentage défini correspondant à diverse catégories socio-professionnelles. sachant que d'habitude l'on appartient à diverse catégorie: tu es ainsi un jeune femme ayant des enfants ayant un haut niveau d'étude et ..... Tu appartient donc au collége "femme", au collége "25 - 35 ans" et ainsi de suite.
pour revenir aux pourcentages, il y a donc, des gens qui disent "A", des gens qui disent "B" et des gens qui ne repondent pas à la question; éventuellement ceux-là peuvent aussi mis dans des catégories: "je ne sais pas" ou "cela ne m'interresse pas". On se retrouve donc en fait dans un sondage à 3 ou 4 propositions. Pour prendre les sondages actuels, les gens qui se prononcent représentent environ 45 -50 % des sondés: ce qui veut dire que les pourcentages de "A" ou "B" correspondent plutôt à quelque chose comme du 24% pour "A" et 26% pour "B". "A" ou un "B" en plus représentants 0,5% du total mais presque 1% des exprimés. Et ce pourcentage augmente quand on veut exploiter les résultats des catégories socio-professionnelles. Ainsi, sur un panel de 1000 personnes exactement, on peut considérer qu'il doit y avoir 502/503 femmes. Si l'on considère l'opinion des femmes de 25 à 35 ans, il doit y avoir environ une cinquantaine de sondées. Et si l'on veut connaitre l'avis des femmes de 25 à 35 ans ayant un niveau d'étude élevé, l'on doit se retrouver avec un panel de 4 à 5 personnes.

[invite7cd5a1d4]

La différence 51%-49% = 2% n'est effectivement pas significative puisse qu'elle est inférieure à l'erreur de +- 2.4% ... Statistiquement, il n'y a donc pas de différence entre les deux choix.
Il n'y a donc pas de tendance.

[A voir en vidéo sur Futura]

[Cécile]

Tu as raison Cécile. Mais la réponse a ta question est donnée par les instituts de sondages eux-mêmes. Quand ils communiquent leurs résultats, il y a une phrase du type: sur un échantillon représentatif de xxxx personnes.

Oui, mais malheureusement, les instituts de sondage ne donnent pas l'info véritablement intéressante, par exemple "le non est à 51 % +ou- x%", de la même manière que les scientifiques donnent une valeur expérimentale et la marge d'erreur. Ca permettrait aux journalistes et commentateurs de ne pas dire n'importe quoi sur les tendances. Mais les sondeurs savent bien qu'ainsi, ils se tireraient une balle dans le pied, car les gens verrait enfin ce que signifient réellement les sondages.
Les leçons du 21 avril, où aucun sondeur n'avait prévu l'élimination de Jospin, sont bien oubliées.

[Quinto]

Pour éclaircir quelques points:

Il me semble que les instituts de sondages sont tenus d'informer la taux de fiabilité et la marge des 2 points et quelques, ainsi que le nombre de sondés.


Pour ce qui est du 21 Avril, c'est autre chose, les sondages n'ayant pas porté sur le 1er tour, mais sur le 2e tour si c'était Jospin-Chirac, ce qui change la donne.

Ensuite je me pose une question sans grand rapport:
Est ce que ce sont les journalistes qui commandent les sondages auprès d'agences, ou les agences sondent et ensuite en font profiter tout le monde?


Pour répondre à une dernière question:
Souvent on compte les votes blancs et les "ne se prononce pas" et en général, si on ajoute le oui et le non, on arrive pas à 100%.
Sinon parfois, on "épure" ces réponses là, et on ne garde que ce qui nous intéresse. (car on ne parle jamais des votes blancs et on ne les comptes pas...)

[Cécile]

Salut,

Merci de tes éclaircissements

Il me semble que les instituts de sondages sont tenus d'informer la taux de fiabilité et la marge des 2 points et quelques, ainsi que le nombre de sondés.

En tout cas, dans les sondages publiés sur papier, seul le nombre de sondés est indiqué, les lecteurs sont sensés connaître suffisamment de statistiques pour en déduire la fiabilité des sondages . A la radio, le nombre de sondés n'est même pas toujours précisé.

Pour ce qui est du 21 Avril, c'est autre chose, les sondages n'ayant pas porté sur le 1er tour, mais sur le 2e tour si c'était Jospin-Chirac, ce qui change la donne.

C'est pas plus glorieux. C'est comme si un scientifique disait : "je ne me suis pas trompé dans mes calculs, mais j'ai pas calculé le bon paramètre"

Ensuite je me pose une question sans grand rapport:
Est ce que ce sont les journalistes qui commandent les sondages auprès d'agences, ou les agences sondent et ensuite en font profiter tout le monde?

Je ne sais pas. En tout cas, ils n'en font pas profiter tout le monde : il est généralement précisé "sondage réalisé à telle date sur tel échantillon pour trucmuche magazine". Je pense que c'est donc une commande.

Sinon parfois, on "épure" ces réponses là, et on ne garde que ce qui nous intéresse. (car on ne parle jamais des votes blancs et on ne les comptes pas...)

Oui, mais pour la fiabilité du sondage, 500 "ne sait pas", 250 oui et 250 non, c'est très différent de 500 oui et 500 non. Pourtant, le résultat présenté est le même.

Bref, pas très scientifique, tout ça, bien qu'il s'agisse officiellement de bonnes vieilles stats.

[invite7cd5a1d4]

Il y avait un article intéressant sur Marianne : le journaliste soulignait le fait que dans son entourage, il y n'y avait pas de personne sondée ... En outre, il a une fois été sondée sur ses lectures des journaux. Dans la fin du sondage, la "sondeuse" lui posait des questions plus précises sur un journal. C'était du au fait que ce journal avait commandé le sondage.
... Comment peut-on être sûr que les chiffres ne sont pas arrangées ? Si les chiffres ne plaisent pas, ils ne seront pas publiés donc ça ne fera pas de pub à l'institut de sondage.

En outre, on peut faire dire n'importe quoi aux sondages suivant comment on les interprête ... ou comment on ne les interprête pas : par ex France 2 présentait un jour 2 sondages donnant la même réponse A et censurait 2 autres sondages donnant le B gagnant ... il y a quelques jours ....

[Quinto]

Pour répondre à la toute dernière remarque, en effet si 500 ne savent pas, les statistiques ne sont pas tellement fiables, mais ce n'est jamais le cas.
Si c'était le cas, je pense que ce serait indiqueé car la proportion d'indécis serait trop grande et justement scientifiquement la proportion de:
"je ne sais pas"
ne sera pas négligeable.

Il me semble que vous même êtes journaliste, ca pourrait être intéressant si vous arriviez à obtenir les informations sur les liens Sondeurs-Journalistes.

Pour ce qui est des informations, je suis presque certains que les instituts de sondages ont l'obligation de mentionner les marges d'erreurs et le nombre de sondés.
Ensuite les journalistes retranscrivent ceci selon la pertinence qu'ils attribuent à ces informations.
Personnellement je ne trouve pas forcément pertinent de savoir combien de gens sont sondés, mais je trouverai ca indispensable au contraire, de connaître la fourchette d'erreur, justement pour éviter les conclusions trop hâtives et éviter de berner les gens.

Attention quand même, quand je parle de journalistes, ca semble dénigrant, et ce n'est pas le cas, et ensuite je ne les considère pas tous dans leur globalité, mais je parle juste de ceux qui ont affaire à ces sondages.
A noter finalement que ceci à été débattu chez Yves Calvi, que je n'ai malheureusement pas pu entendre, mais je vais essayer d'écouter pour savoir ce que les scientifiques en disent.

[invite10c91cbe]

Pour répondre à la toute dernière remarque, en effet si 500 ne savent pas, les statistiques ne sont pas tellement fiables, mais ce n'est jamais le cas.
Si c'était le cas, je pense que ce serait indiqueé car la proportion d'indécis serait trop grande et justement scientifiquement la proportion de:
"je ne sais pas"
ne sera pas négligeable.

Sondages 1
Sondages 2

Ce qui est dénoncé dans ces deux articles (et que j'aimerai bien vérifier), c'est que le nombre de sans avis est très important (au moins 50%) et donc que l'incertidude sur les résultats n'est plus de 2,5% mais atteint les 5%.

Si ceci est vrai, il y a quand même un peu arnaque sur la marchandise, non?

[Quinto]

Non il y'a arnaque qu'à partir du moment où les informations ne sont pas données:
Nombre de sondés
Marge d'erreurs
Nombre de sondés qui ne se prononcent pas
etc.

Ainsi que lorsque l'on interprète ces résultats.

Quant au document, il est intéressant, mais je me méfierai des chiffres et des calculs rapides, même si on comprend bien l'idée générale.

[invite10c91cbe]

Non il y'a arnaque qu'à partir du moment où les informations ne sont pas données:
Nombre de sondés
Marge d'erreurs
Nombre de sondés qui ne se prononcent pas
etc.

Ainsi que lorsque l'on interprète ces résultats.

Quant au document, il est intéressant, mais je me méfierai des chiffres et des calculs rapides, même si on comprend bien l'idée générale.

Je me suis peut-être mal exprimé mais en fait je visais surtout l'interprétation des résultats et la présentation fallacieuse de ceux-ci, même quand on prétend tenir compte de la marge d'erreur. Moi j'ai vu pas mal de journalistes ou autres parler de l'incertitude à environ 2% sans préciser que cela ne s'appliquait pas au rapport de force oui/non. C'est pourtant ce que j'avais compris et je ne suis pas le seul*.

Bien entendu, tant que les données brutes importantes sont données, il y a moyen de se faire sa propre idée sur la signification du sondage.

*Ewok fait par exemple la même erreur dans son raisonnement, même si cela le renforce. Par exemple, si le résultat avait été 53 à 47, il n'y aurait pas de différence statistique entre le oui et le non, compte tenu du nombre de personnes qui ne se prononcent pas.

[Gwyddon]

Salut Quinto,

Tu soulignes, à juste titre, l'importance de la marge d'erreur ; je trouve aussi ce critère essentiel, au moins aussi important que le résultat lui-même puisque l'association des deux donne un résultat vraiment scientifique.

Or il se trouve que j'ai fait particulièrement attention aux résultats de sondages donnés lors des journaux télévisés par exemple lors des deux dernières semaines.

A chaque fois, le nombre de sondés était donné, ainsi que l'institut qui l'avait réalisé. Par contre, jamais* la marge d'erreur n'a été communiqué.

Je trouve ça gravissime, car c'est un biais manifeste de l'information. Je ne doute pas que les instituts de sondages sont dans l'obligation de fournir cette marge d'erreur (puisque elle est la marque de tout travail scientifique en statistique), par contre il me semble que les journalistes (du moins télévisuels selon ma propre expérience) oublient sciemment d'en informer le public.

[pi-r2]

du point de vue scientifique, il y a un biais supplémentaire sur les sondages par rapport aux statistiques par échantillonage, qui elles sont fiables. Dans les statistiques, la mesure individuelle est exacte. Dans un sondage d'opinion, rien n'oblige les sondés à donner leur VRAIE opinion. Ainsi en fonction de l'intérêt tactique, les sondés peuvent répondre le contraire de ce qu'ils pensent. Et cela peut varier pour chaque scrutin, donc il n'y a pas de reproductibilité. Pour pallier à cela, les instituts de sondages font des corrections, mais tout cela augmente encore FORTEMENT l'incertitude réelle.

[Cécile]

Je trouve ça gravissime, car c'est un biais manifeste de l'information.

Oui, c'est ce que je ressens aussi.

Je ne doute pas que les instituts de sondages sont dans l'obligation de fournir cette marge d'erreur (puisque elle est la marque de tout travail scientifique en statistique), par contre il me semble que les journalistes (du moins télévisuels selon ma propre expérience) oublient sciemment d'en informer le public.

Je n'en suis pas aussi sûre que toi. J'avais vu une fois les annexes d'un sondage (non politique, d'ailleurs), où il est précisé le nombre de sondés et surtout la composition précise du panel. Mais je ne me souviens pas d'avoir vu la marge d'erreurs. Théoriquement, chacun peut la calculer vu que l'institut de sondage donne toutes les données pour, mais encore faut-il se rendre compte de son importance, savoir le faire, etc. Certes, ce serait le boulot des journalistes commentant les sondages de faire ces calculs (et on voit là leur manque de culture scientifique), mais l'institut de sondage a aussi sa part de responsabilité : plus on croit aveuglément à ses données, plus il pourra en vendre.

Quinto, désolée, je n'ai pas plus d'informations que toi sur les liens institut de sondage - journaliste. A mon avis, c'est une démarche commerciale classique : le vendeur (institut de sondage) propose au client (journal), qui passe une commande, et le prix dépend de l'exclusivité du sondage (un sondage partagé entre plusieurs médias sera moins cher pour chacun).

[invitef4d4c95a]

Bonjour à tous ,



Un sondage n'a aucune crédibilité car très aléatoire , c'est un peu comme la météo .

Quant à la météo , c'est une science nouvelle , donc , pas encore très fiable .


Par conséquent , un sondage n'est pas une science et encore moins infuse . D'ailleurs , l'expérience a démontré à plusieurs reprises concernant des élections à caractère politique que les grands perdants dans cette histoire , ce sont bien les instituts de sondages .


C'est pour cette raison que je ne prends jamais position pour l'un ou l'autre des candidats en liste qui se présentent , car , les questions qui sont posées sont orientées et donc nous influencent , tout comme les médias de la presse écrite , télévisuelle ou autres .



A plus tard

[invite0190fadb]

Bonjour,

En plus de la marge d'erreur jamais donnée, personne n'a parlé du fait que les sondages (meme oui non comme ceux-ci) sont ajustés par des variables propres a chaque institut de sondage. Ce ne sont jamais les données brutes qui sont exprimées. Et cela est encore plus grave.

Dans le cas du 21 avril c'est plus facile a comprendre. Dans les derniers sondages un des deux admis au second tour n'était qu'a 12% d'intention de vote. Les institut de sondages l'ont compensé entre 14 et 16% suivant leurs estimations de ces variables d'ajustement. Et cela selon l'argument (vrai en l'occurence) que certains sondés n'osaient pas exprimer leur intention de vote pour ce candidat en raison de pressions sociétales. Mais la ou ils se sont trompé c'est dans l'estimation de cette variable d'ajustement.

Les données brutes d'un sondage sont donc "vraies" car elles refletent l'expression des gens mais les résultats des sondages sont toujours donnés en valeur compensées ! D'ou souvent leur décalage avec les résultats constaté lors des échéances.

Car s'il y a une certaine rigueure scientifique (statistique) dans les données brutes, les données compensées n'en ont plus aucunne. Ce qui ne veut pas dire que suivant le talent des institus (et leur expérience) ils ne tombent pas juste de temps en temps.

Voila c'etait juste pour séparer les aspects scientifiques et non scientifiques des sondages.

[invite7cd5a1d4]

A titre informatif, j'ai été sondé récemment par BVA, 2 fois en 1 semaine (1 fois avant le référendum et 1 fois après ... )
Et ça me permet de soulever un autre problème des sondages : la réponse que l'on donne est un choix dans celles proposées par le sondeur : Tout a fait pour, plutôt pour, plutôt contre, tout à fait contre ... en général ...
Quand la question "ëtes vous pour le retour à la politique de X." ... et qu'on s'en fiche qu'il fasse ou non de la politique ce gus ... on répond quoi ? Je ne suis ni pour ni contre. Le "sans opinion" ne convient pas puisque j'ai une opinion (ça ne me gêne pas qu'il revienne en politique mais je vais pas le supplier pour celà) ....
Comment sont intégrés les avis des personnes, avec les nuances ? Un sondage est sans nuance, oui ou non !