Signification Variance cosmique et Shot noise

[fabio123]

Bonjour,

je voulais avoir des précisions sur la notion de variance cosmique et du shot noise sur cette présentation :

https://www.usm.uni-muenchen.de/peop...talk/Seoul.pdf

En cosmologie, on parle souvent de la variance cosmique comme le fait qu'il n'y a qu'un seul univers et donc une seule réalisation : je comprends que si on veut faire des statistiques, 1 seule réalisation est le pire des scénarios (sans compter aucune réalisation).

J'ai vu que l'on modélise cette variance cosmique par une distribution de Poisson mais de quelle manière concrètement cette distribution est utilisé dans l'estimation des observables :

Question 1) Naïvement, si je prends la distribution de Poisson tel quelle :

Alors, je me dis que je dois prendre le cas k=1 (1 occurence = 1 seul Univers) avec aussi , c'est-à-dire une probabilité égale à

Je pense qu'avec ce raisonnement, je m'éloigne de ce qu'est réellement la définition de la variance cosmique : il y a aussi une définition qui qualifie la variance cosmique de "sampling variance", c'est-à-dire un estimateur de la variance d'échantillon biaisée ("biased sample variance") : quelqu'un pourrait-il m'aider à comprendre cette notion et surtout dans quel cas concret l'utilise t-on ? J'imagine qu'on fait des corrections avec cette distribution de Poisson mais sur quels paramètres ou formules ?

Question 2) Il y a aussi un autre paramètre de "nuisance" que l'on appelle le "Shot noise" et noté souvent : il semble y avoir une relation entre la variance cosmique et ce "Shot noise" (d'après les slides dont j'ai donné le lien au début de ce post).

Je dis ça car là aussi, l'auteur fait intervenir une distribution de Poisson. Mais le shot noise semble + être lié au nombre fini de mesures d'observables alors que dans la réalité, elles sont continues et non discrétisées : est-ce le cas ?

Je voulais donc savoir quelle est la différence profonde entre ces 2 quantités (variance cosmique et "Shot noise") ou alors leurs points communs ?

Merci par avance, Cordialement
-----

[fabio123]

Désolé quelques erreurs d'étourderie :

Alors, je me dis que je dois prendre le cas k=1 (1 occurence = 1 seul Univers) avec aussi , c'est-à-dire une probabilité égale à

Cordialement

[fabio123]

Bonsoir,

peut être que cette question devrait être déplacée dans le forum "Astronomie et Astrophysique" ? à cause de l'absence de réponse dans ce sous-forum.

les modérateurs, qu'en pensez-vous ?

[physeb2]

Bonjour Fabio123,

je vois que ta question date de longtemps mais au cas où tu es toujours intéresser je peux te répondre.
Je vais faire une réponse pas trop longue pour commencer car je ne sais pas si tu vas la lire. Dans le cas où toi ou une autre personne s'y intéresserait alors je pourrais rentrer dans plus de détails.

Pour la variance cosmique tu as bien éfinit le problème, tu as trés peux de réalisations pour estimer des valeurs. En particulier, comme tu parles également du Shot Noise j'en conclus que tu t'intéresse au Power Spectrum (ou a Angular Power Spectrum). Je pourrais faire le distingo des deux calculs pour la variance cosmique ou Simple variance si tu le veux.

Si tu t'interesse a power spectrum tu cherche a estimer la variance de l'amplitude des modes k de ta décomposition de Fourier. Si tu observe tout l'Univers observable et que tu fais la transformation de Fourier tu obtiens une cube dont le centre est le mode qui correspond a la valeur moyenne du champs observé. Ce mode n'a qu'un seul pixel. Comment fais tu pour mesurer la variance du processus a ? Tu peux pas. En fait tu peux mais la valeur de ne veut rien dire car l’erreur est infinie. Autrement dit tu as une erreur intrinsèque (statistique) qui dépend du numero de réalisations auxquelles tu as accès.
Tu vas pouvoir considérer des sphères de grosseurs entre qui vont contenir un nombre de pixels où est le volume de la sphere et est le volume d'un pixel dans ton cube de transformée de Fourier.

Ainsi tu peux évaluer le nombre de valeur que tu peux utiliser pour calculer ton power spectrum pour chaque valeur de . Plus est grand et plus le nombre de valeurs accessibles est grand et donc l'erreur statistique diminue. Le power spectrum est un estimateur de variance donc l'erreur statistique suis basiquement une erreur relative:
avec

donc on peut voir que pour le cas tu as une erreur infinie car .
Pour finir avec ce sujet, la difference entre la variance cosmique et la simple variance est que dans le premier cas tu es en train d'observer tout l'Univers observable et que dans le second tu observe seulement une partie de l'Univers. Dans le premier cas cette erreur ne sera jamais réduite (sauf méthodes tres particulières de multi-tracer décrivent dans les articles de Patrick Mcdonald et Uros Seljak) alors que dans le deuxieme cas, si tu augmente la taille du volume observer, ce qui correspondait a va bouger dans des mode plus grands et donc pour lequel tu auras plusieurs réalisations pour estimer la variance avec moins d'erreur. Cette limite est donc due au volume de ton simple et peut être améliorer dans un futur avec plus de données alors que dans le premier cas non.



Pour le Shot Noise ça se passe de l'autre côté, c'est a dire les grands modes . Tu as une enorme quantité de réalisations, donc un effet d'erreur statistique nulle sur l'estimateur de variance en lui même mais lorsque tu augmente la valeur tu diminue la taille des pixels en espace réel de ton observation. Lorque tu observe des galaxies, tu regardes des objets discrets. Tu as un nombre de galaxie par pixel. Lorsque tu arrive a une taille de pixel comparable avec la distance moyenne entre les galaxies tu arrive dans une situation ou tu vas avoir tres peu de galaxies par pixel. Donc un processus poissonnien centré sur 1. quand tu continues d'augmenter tu empire la situation et tu as 1 galaxie ou 0 la plus part du temps. Cela va avoir pour effet que les coefficients de Fourier de la transformation vont avoir une valeur de 0 ou de 1/n, avec la densité volumique des galaxies dans ton observation. La variance de ce processus est 1/n et donc te vas donner une constante 1/n pour tout les modes
où la distance moyenne entre les galaxie est

J'espere que ça t'aidera dans la compréhension de ces deux erreurs de mesure sur les power spectrum de galaxies (cosmic variance s'applique aussi au CMB )

[A voir en vidéo sur Futura]

[fabio123]

Bonjour physeb2,

Merci pour tes explications, ça valait le coup d'attendre. Si j'ai bien compris, tout dépend de l'échelle k à laquelle on se situe.

Pour la variance cosmique tu as bien éfinit le problème, tu as trés peux de réalisations pour estimer des valeurs. En particulier, comme tu parles également du Shot Noise j'en conclus que tu t'intéresse au Power Spectrum (ou a Angular Power Spectrum). Je pourrais faire le distingo des deux calculs pour la variance cosmique ou Simple variance si tu le veux.

La "Simple variance" fait référence à la variance cosmique ou le shot noise dans ce qui est en gras ?

Si tu observe tout l'Univers observable et que tu fais la transformation de Fourier tu obtiens unecube dont le centre est le mode qui correspond a la valeur moyenne du champs observé. Ce mode n'a qu'un seul pixel. Comment fais tu pour mesurer la variance du processus à

Là, j'ai du mal à saisir et faire le lien avec un processus de poisson et le nombre de réalisations : avec Poisson, on a la proba que "n" réalisations se produisent avec une proba P(n) = lambda^n/n! exp(-lambda n). Pourrais tu m'expliquer le lien entre les 2 ?

Le power spectrum est un estimateur de variance donc l'erreur statistique suis basiquement une erreur relative:

Comment justifies-tu que le spectre de puissance matière est un estimateur de variance ? Je n'avais jamais entendu cette définition. J'ai aussi eu toujours de mal avec la relation entre erreur relative et écart-type, tu pourrais m'en dire un peu plus ?

Dans le premier cas cette erreur ne sera jamais réduite (sauf méthodes tres particulières de multi-tracer décrivent dans les articles de Patrick Mcdonald et Uros Seljak)

Je suis en plein dedans dans le papier de Seljak, pour se débarasser de la variance cosmique (méthode multi-traceurs).

Cette limite est donc due au volume de ton simple et peut être améliorer dans un futur avec plus de données alors que dans le premier cas non.

Il ya peut-être une faute de typo, surement tu voulais écrire : "Cette limite est donc due au volume de ta simple variance et peut être ..."

Sinon je ne comprends pas ce que tu as voulu dire.

Pour le Shot Noise ça se passe de l'autre côté, c'est a dire les grands modes k

C'est ce que tu appelles "la simple variance" par rapport à ce que tu as écrit au début ?

Tu as un nombre de galaxie par pixel. Lorsque tu arrive a une taille de pixel comparable avec la distance moyenne entre les galaxies tu arrive dans une situation ou tu vas avoir tres peu de galaxies par pixel. Donc un processus poissonnien centré sur 1. quand tu continues d'augmenter tu empire la situation et tu as 1 galaxie ou 0 la plus part du temps.

Très intéressant comme remarque : mais pas tout compris : qu'entends-tu par "processsus poissonnien centré sur 1 ? tu veux veux dire la proba avec une seule réalisation ou un lambda = 1 ?

Cela va avoir pour effet que les coefficients de Fourier de la transformation vont avoir une valeur de 0 ou de 1/n, avec la densité volumique des galaxies dans ton observation. La variance de ce processus est 1/n et donc te vas donner une constante 1/n pour tout les modes

Comment passes-tu d'un processus poissonien centré sur 1 à des coefficients de Fourier égaux à 0 ou 1/n et à une variance du processus (poissonien) égal à 1/n ?

Encore merci pour tes explications, il faut battre le fer tant qu'il est chaud, j'espère que tu es encore dans les parages, ton aide sera précieuse et désolé si j'ai été un peu long, faut que je digère tout ça.

à bientôt.

[physeb2]

Bonjour fabio123,
tout d'abord ça me fait plaisir que tu fais pu voir ma réponse bien qu'ultra tardive.
Tout d'abord je viens de voir que j'avais écris 'simple variance' au lieu de 'sample variance' a cause du correcteur automatique. Il s'agit bien de 'sample' au sens où il s'agit d'une limite due a ton 'sample', autrement a ton échantillon observé.

Pour répondre a tes questions sur le spectre de puissance comme estimateur de variance c'est plus long et je ne vais pas l'écrire dans le format que permet le fil de discussion. Je peux te donner une note de cours qu'on a écrit en anglais qui fait le lien entre spectre de puissance et champs gaussien aléatoire dans laquelle il y a une petite démonstration pour arriver a la forme du spectre de puissance isotrope et homogène qui s'écrit comme

qui est donc la moyenne des carrés d'une variable cntré sur sur zéro.
GRF_fromenteau.pdf
Dans un deuxième temps je peux faire une petite video en français pour entrer dans des explications plus visuelles, notamment sur la transformer de Fourier et la problématique de la variance cosmique et shot-noise.

Dis moi si ça t'intéresse. Je ne pourrai certainement pas le faire immédiatement mais le matériel existant déjà il s'agit uniquement de faire la video. Il existe une video de 2 heures en espagnol, donc si tu comprend bien cette langue je peux t'envoyer le lien. Sinon je ferais une version courte en français.De toutes manieres ça me plairait de traduire une grande partie de mon matériel en français.

[fabio123]

Bonsoir physeb2,

Un grand merci pour ton aide ! Ta note de cours a l'air vraiment très intéressante avec les équations qui m'intéresse dans le cadre de mon travail. Je t'envoie en MP des informations complémentaires.

Comme je te disais, il faut que je digère tout ça, mais je reste confiant, j'ai malgré tout des connaissances sur Fourier.

Ton idée de faire une vidéo en français est une super initiative (si tu as le temps), tu pourras faire partager tes explications sur ces notions de Power Spectrum et GRF en cosmo. J'a quelques notions en espagnol mais sûrement pas assez avancées pour ton cours.

à très bientôt ! je te tiens au courant si je bloque sur une démo ou notion.

Cordialement