Chaine de Markov

[invite88212cc7]

Bonjour,

J'essaie de résoudre l'exercice suivant :

Soit {X_n, n >=0} une chaîne de Markov de matrice de transition P.
Supposons que X_0 = i et définissons b_i l'instant de premier départ de l'état i.
Déterminer la loi de b_i.


Je cherche donc P(b_i = t)

Je suppose que cette probabilité doit dépendre de la ié ligne de la matrice de transition, mais je ne vois pas du tout comment commencer

quelqu'un pourrait-il m'aider?

Merci
-----

[invite88212cc7]

en fait j'avais pensé à la chose suivante.

soit (Pi1, .... Pin) la ie ligne de la matrice de transition P.

On sait que Pij est la probabilité de passer de l'était i à l'état j, par définition de P.

donc je me suis dit, passons à l'événement complémentaire :

la probabilité de rester en i est : Pii / 1-Pii (car Pi1 + Pi2 + ... Pin = 1)

(déja ici petit problème, rien ne m'assure que Pii/1-Pii est >1 ??? ou oui?)

et donc la réponse recherchée serait 1- Pii/1-Pii = 1-2Pii/Pii

mais ce raisonnement me semble foireux.

[Romain-des-Bois]

Bonjour,

On a donc et désigne le coefficient de la matrice de transition.

Si alors on a p.s. et donc p.s.

Si alors p.s et

Si , on a :


donc





ainsi de suite :


suit la loi géométrique de paramètre .

[Garf]

La probabilité de rester dans l'état i, quand on y est, est évidemment la probabilité de passer de l'état i à l'état i. Soit , rien de plus.

Edit : trop lent

[A voir en vidéo sur Futura]

[Romain-des-Bois]

la probabilité de rester en i est : Pii / 1-Pii (car Pi1 + Pi2 + ... Pin = 1)

Beh non. La probabilité de rester en c'est par définition.

(déja ici petit problème, rien ne m'assure que Pii/1-Pii est >1 ??? ou oui?)

Cette remarque m'inquiète un peu... Une probabilité est comprise entre et .

[invite88212cc7]

Pour la proba plus grande que 1

je me suis trompé (faute de frappe) je voulais évidemment mettre < 1

[invite88212cc7]

Merci Romain, finalement le raisonnement n'était pas si difficile à établir, il fallait juste y penser.

Merci