Confiance en l'existence d'une exoplanète

[Brinicle]

Bonjour,

Depuis peu, pour un projet de machine learning, je m'intéresse aux données récoltées par le télescope spatial Kepler (relatif aux exoplanètes) : https://exoplanetarchive.ipac.caltec...fig=cumulative

La question porte sur la colonne "koi_score" dont voici la définition (donnée par https://exoplanetarchive.ipac.caltec...e_columns.html) :

A value between 0 and 1 that indicates the confidence in the KOI disposition. For CANDIDATEs, a higher value indicates more confidence in its disposition, while for FALSE POSITIVEs, a higher value indicates less confidence in that disposition. The value is calculated from a Monte Carlo technique such that the score's value is equivalent to the frction of iterations where the Robovetter yields a disposition of CANDIDATE.

Au début, je pensais naïvement que cela correspondait en gros à la probabilité que le KOI soit une exoplanète... Mais en regardant l'histogramme des valeurs prises par les "CONFIRMED", "CANDIDATE" et "FALSE POSITIVE" (dans koi_disposition), on voit que certaines exoplanètes confirmées ont un score de 0 et des faux positifs un score de 1 .



Qu'est-ce donc exactement que ce score ?
-----

[physeb2]

Bonjour Brinicle,

désolé pour la réponse tardive mais les dernieres semaines furent un enfer au travail.
Tu ne peux pas interpréter un score comme une probabilité au sens strict. Tu as un estimateur et son score indique bien un degré de confiance. Mais cela ne veut pas dire que la probabilité est égale au score.

Il faut prendre en compte deux choses avec un estimateur, la pureté et la completude (désolé pour ce barbarisme, mais je n'ai pas d'autre mot):
- Pureté: quelle est la fraction de tes objets avec un score donné sont confirmés par rapport au nombre total d'objets avec ce score et plus (dans ton graph: Confirmées/(Confirmées + Faux positif) intégré entre un score donné et 1)
- Complétude : quelle fraction des objets supposés être observés ont un score supérieur ou égal a celui que tu considère. Ça tu ne l'a pas avec tes données, il faut en générale des simulations ou des observations que tu vas cacher a ton estimateur durant l'entrainement pour lesquels tu as une grande confiance sur la détection des objets avec d'autres méthodes.

Tu peux en prenant en compte ces deux informations déduire une probabilité estimé (qui sera imparfaite), ce qui est très différent de prendre directement le score de ton estimateur.

Le fait que tu ais pas mal de "confirmées" avec un faible score est tout afait raisonnable quand on voit la grande quantié de "faux positifs" avec ce même score. En fait c'est la pureté qui fait baissé le score dans la construction de l'estimateur. L'estimateur a été construit pour donner un score qui cherche a optimiser entre pureté et complétude, tu dois sacrifier quelques objets pour ne pas te contaminer avec beaucoup de fausses détections.

Je ne sais pas si j'ai répondu a ta question.