Loi de Poisson et Tests

[ibarra]

Bonjour, je dois faire un TD et je bloque un peu sur la compréhension des questions.

Ce sont des exercices à faire avec l'ordi, j'ai des données qui représentent des observations pour 2 populations distinctes.
Il y a 2 parties, dans la première partie on ne considère qu'une population. Il faut faire une représentation graphique des données, en déduire une modélisation possible et vérifier ce postulat d'une façon plus théorique.

J'ai donc tracé l'histogramme des densités et la fonction de répartition, graphiquement cela ressemble fort à une loi de poisson. J'ai donc fait un test d'adéquation du Chi-Deux en estimant lambda par la moyenne empirique (E[X]=λ) et je rejette le fait que ma population suive une loi de Poisson de paramètre lambda. Ça me perturbe un peu mais j'ai vraiment tout essayé aussi bien manuellement qu'avec des fonctions toutes faites et j'en arrive toujours à la même conclusion.
Mais bon c'est peut être normal et ce n'est pas sur ça que je bloque. Dans la 2ème partie je travaille sur les 2 populations et voilà les questions sur lesquelles je bloque :

Peut-on dire que les deux populations sont issues de la même loi en utilisant votre postulat et la vraie loi de la statistique puis une version approchée?

Je suppose donc qu'il faut que je fasse un test d'égalité des variances puis des espérances. Mais je ne comprends pas la 2ème partie de la question "en utilisant votre postulat et la vraie loi de la statistique puis une version approchée", surtout quand j'ai rejeté l'hypothèse d'adéquation précédemment.

Pareil pour les questions suivantes je ne suis pas sur de quoi faire.

Peut-on approcher la distribution de chacune des populations par une loi normale? Le vérifier
de manière empirique et théorique.
Peut-on dire que les deux populations sont issues de la même loi en utilisant cette approximation?

Pour la vérification de manière empirique, je pense qu'il s'agit d'illustrer le théorème central limite graphiquement. Pour la manière théorique est-ce qu'il s'agit d'un test d'adéquation à la loi Normale ?
Et ensuite pour vérifier si les populations sont issues de la même loi je suppose qu'il s'agit encore de vérifier l'égalité de variances et espérances mais je ne sais toujours pas ce que signifie "en utilisant cette approximation".


J’espère avoir été assez clair et pas trop long.
Merci d'avance pour votre aide.
Cordialement
-----

[gg0]

Bonjour
J'ai peu de temps, mais quelques remarques :
* Le khi-deux n'est pas un très bon test pour la loi de Poisson. D'ailleurs, il se pose toujours le problème de la classe finale : A partir de quand
* Il existe des tests spécifiques (je ne les connais pas). Mais une base est de vérifier que la variance et la moyenne empiriques sont à peu près égales.
* Sans les données, difficile de te suivre

Cordialement

[ibarra]

Merci pour votre temps et vos remarques.

J'ai utilisé le test du Khi-deux car c'est le seul que j'ai vu en cours et qui correspond pour une loi de poisson (Kolmogorov-Smirnov étant pour des lois continues je crois et Shapiro pour la loi normale). Mais en effet j'ai du regrouper les effectifs inférieurs à 5 en classes. J'obtiens le tableau suivant : (je mets une image car les tabulations passent très mal)
Capture.PNG

Je trouve donc ma statistique de test D = 58.78086 (Somme[(ni - npi)² / npi]) et c = 31.41043 (c est le fractile d'ordre 0.95 d'un X²(22-2) (-2 car on a estimé un paramètre)). Comme D > c je me situe dans la région de rejet et je rejette l'hypothèse d'adéquation.

Je n'avais pas pensé à tester si la variance et la moyenne empirique sont à peu près égales, comme elles devraient l'être théoriquement, elles ne le sont pas du tout.

> mean(population1)
[1] 30.047
> var(population1)
[1] 21.4062

Pourtant graphiquement, je ne sais pas ce que vous en pensez mais la modélisation qui me sautait aux yeux était une loi de Poisson :

plot.png

Pour ce qui est des données les voici : proj4.txt (il y a 1000 observations pour chaque population)
Mais après avoir vérifier plusieurs fois je pense que mon test n'est pas faux et c'est plus sur la signification des questions suivantes, que je n'arrive pas à comprendre malgré mon cours, que je bloque...

Mais si jamais vous utilisez R et que vous voulez reproduire ce que j'ai fait voici mon code (je vous épargne la partie graphique) :

# Importation des données
datas <- read.table(path, header = FALSE, sep = "")

# Création du vecteur des observations pour la population 1
population1 <- datas[,1]

################################################
#### Test d'adéquation à une loi de Poisson ####
################################################

# On note Z les valeurs des observations
# On veut tester si Z~P(lambda)

df <- as.data.frame(table(population1), stringsAsFactors = FALSE)
names(df) <- c("Z", "effectif")
df <- transform(df, Z = as.numeric(Z),
                effectif = as.numeric(effectif))

# On commence par estimer lambda
# On sait que si Z~P(lambda) alors E[Z]=lambda
# Zn(barre) est un estimateur de E[Z] -> lambda(chapeau)=Zn(barre)
n <- sum(df$effectif)
# Calcul de l'estimateur de l'esperance
Zn <- 1/n * sum(df$Z * df$effectif)

# On ajoute au data frame une colonne avec les probabilités théoriques d'une P(Zn)
df <- transform(df, proba.theorique = dpois(Z, Zn))

# Manipulation pour regrouper les effectifs inférieurs à 5
i <- 1
effectifs <- c()
labels <- c()
pi <- c()
while(i < nrow(df)) {
  if (df$effectif[i] >= 5) {
    effectifs <- c(effectifs, df$effectif[i])
    labels <- c(labels, df$Z[i])
    pi <- c(pi, df$proba.theorique[i])
    i <- i + 1
  }
  else {
    count <- df$effectif[i]
    countPi <- df$proba.theorique[i]
    k <- i
    j <- i
    while(df$effectif[i] < 5 & i < nrow(df)) {
      if (df$effectif[i+1] < 5) {
        count <- count + df$effectif[i+1]
        countPi <- countPi + df$proba.theorique[i+1]
        j <- i + 1
      }
      i <- i + 1
    }
    labels <- c(labels, paste0(df$Z[k], ";", df$Z[i]))
    effectifs <- c(effectifs, count)
    pi <- c(pi, countPi)
  }
}

df2 <- data.frame(labels, effectifs, pi)
# Ajout d'une colonne n * pi
df2 <- transform(df2, npi = n * df2$pi)

# Calcul du X² observé
D <- sum(((df2$effectifs - df2$npi)^2)/df2$npi)

# degrés de liberté
# k classes, 1 paramètre estimé, -1
k <- nrow(df2)
ddl <- k - 1 - 1

# niveau de risque alpha
alpha <- 0.05

# fractile d'ordre 1 - alpha d'un Chi-Deux à n - param estimés - 1 ddl
c <- qchisq(1 - alpha, ddl)

# Résultat du test d'adéquation à une loi de poisson.
ifelse(D > c, "On rejette l'hypothèse H0.", "On accepte l'hypothèse H0")

# Méthode avec la fonction chisq.test :
chi2Test <- chisq.test(df2$effectifs, p = df2$pi, rescale = TRUE)
# Attention on ne peut pas conclure tel quel, car la fonction ne prend pas en compte le fait qu'on ait estimé un paramètre (le ddl est mauvais)
D2 <- chi2Test$statistic
ifelse(D > c, "On rejette l'hypothèse H0.", "On accepte l'hypothèse H0")

Merci pour votre aide,
Cdt.

[gg0]

Je n'ai pas l'habitude de R, je te fais confiance. Vu la forme des données, j'aurais plutôt pensé à des valeurs gaussiennes arrondies à l'unité. La fonction de répartition est quand même assez proche. Pour une loi de Poisson, vu la taille des données, on est n'importe comment déjà proche d'une gaussienne.

Cordialement.

[A voir en vidéo sur Futura]

[minushabens]

Je pense que "la vraie loi de la statistique" fait référence à la statistique de test. A mon avis il s'agit ici de la loi multinomiale.