Chaînes de Markov (classification d'états)

[Bleyblue]

Bonjour,

Si j'ai devant moi le graph de transition d'une certaine chaîne de Markov, quelqu'un peut-il m'expliquer comment je dois m'y prendre pour déterminer si un état est :

1) Transitoire (transient)
2) Récurrent nul
3) Récurrent non nul

J'ai bien les définitions dans mon cours mais je vois mal comment les appliquer, à moins de me lancer dans des calculs ardus.

merci

[MiMoiMolette]

Salut,

A partir du graphe, pour repérer un état transient, c'est un état d'où peuvent partir des flèches, mais où aucune flèche ne retourne (à part si ça va de cet état à lui-même)

Par contre, je ne peux pas donner l'explication pour état récurrent nul/non nul... Je n'avais pas vu la différence entre les deux.

[Garf]

A partir du graphe, pour repérer un état transient, c'est un état d'où peuvent partir des flèches, mais où aucune flèche ne retourne (à part si ça va de cet état à lui-même)

Malheureusement non :
* si le graphe est fini, on peut trouver des contre-exemples (A -> B ->C et B -> A : A et B sont transients...). Cependant, on dispose de caractérisations effectives en se plaçant non pas au niveau d'un état seul, mais d'un ensemble d'états.
* si le graphe est infini, c'est encore pire ; voir la marche aléatoire sur . Dans ce cas, je crois qu'il y a des méthodes d'électrodynamique, mais il faudrait en savoir plus sur le problème pour s'y adapter...

[MiMoiMolette]

Ouh la oui !
Je suis bien rouillée et n'ai jamais vu les cm infinies

Et je viens de tout relire sur wiki, ça va mieux maintenant

Désolée !

[Bleyblue]

Ha bon

Mais donc, comment dois-je faire au final ? C'est compliqué comme histoire

merci

[Garf]

Déjà, à quoi ressemble cette chaîne de Markov ? Par quel graphe est-elle supportée (graphe fini, un , une variante d'un , graphe complet...) ?

[Romain-des-Bois]

Bonjour,

s'il s'agit d'une chaîne de Markov à valeurs dans un espace d'états fini , il suffit de regarder les classes fermées (dont on ne peut sortir, elles correspondent aux états récurrents) et les classes ouvertes (dont on peut sortir et qui correspondent aux états transients).

[Bleyblue]

Ben c'est une chaîne de Markov à temps discret et à valeur dans un espace des états discrets aussi (discret = fini ou dénombrable).

Mais ce que tu dis Romain ne correspond pas aux exmples que j'ai devant moi, ou certains états ouverts sont classés comme récurrent ...

merci

[Romain-des-Bois]

Mais ce que tu dis Romain ne correspond pas aux exmples que j'ai devant moi, ou certains états ouverts sont classés comme récurrent ...

Mon message concerne les chaînes de Markov à valeurs dans un espace d'états fini.

[Romain-des-Bois]

Il y a quelque chose qui me chagrine.

certains états ouverts sont classés comme récurrent ...

Qu'est-ce qu'un état "ouvert" pour toi ?
Un état duquel on peut partir ou bien un état faisant partie d'une classe ouverte ? (ce n'est pas du tout la même chose)

Il me semble qu'on a (même pour un espace d'états dénombrable) : récurrent entraine fermé (dans le sens : l'état considéré appartient à une classe fermée).

Avec une réciproque plus subtile : si un état appartient à une classe fermée et finie, alors il est récurrent.