Les chaînes de Markov étudiées ont 2 ou 3 états et sont définies par leur état initial et par leur matrice de transition.
I. Notions de chaînes de Markov
1) Théorème et définitions
Définition : Une chaîne de Markov (homogène) à 3 états (notés 1, 2 et 3) est définie par la loi de probabilité de son état initial donné par une matrice ligne π0 de taille 3 et par sa matrice de transition Q de format 3×3.
À noter
On définit de manière analogue une chaîne de Markov à 2 états.
Soit n un entier naturel, si Xn décrit l’état du processus après n transitions, alors π0=PX0=1 PX0=2 PX0=3 et les coefficients pij de la matrice Q sont les probabilités de transition de i vers j définies pour tout entier naturel n par : pij=PXn=iXn+1=j.
2) Graphe pondéré d’une chaîne de Markov
Définitions : Un graphe est orienté si ses arêtes, appelées arcs, sont des couples (donc orientés) de sommets (pas forcément distincts). Une boucle est un arc reliant un sommet à lui-même. Un graphe est pondéré si chacune de ses arêtes (orienté ou non) est associée à un nombre réel appelé poids.
Le graphe associé à une chaîne de Markov admet pour sommets l’ensemble de ses états (2 ou 3) et pour arcs les couples i, j pour i et j variant de 1 à 2 ou 3 pondéré par la probabilité de transition pij de i vers j.
À noter
La matrice de transition est une matrice stochastique, c’est-à-dire que sur chacune de ses lignes la somme des coefficients vaut 1.
II. État au bout de n transitions et état invariant
Théorèmes : Soit n un entier naturel et soit une chaîne de Markov de loi de probabilité de l’état initial π0 et de matrice de transition Q.
Le coefficient de la i-ième ligne et j-ième colonne de Qn est PX0=iXn=j.
La loi de probabilité de l’état du système à l’instant n est définie par :
πn=PXn=1 PXn=2 PXn=3 et on a πn=π0Qn.
Définition : Un état π est appelé invariant (stationnaire ou stable) pour une chaîne de Markov de matrice de transition Q si π=πQ.
Remarque : L’état invariant π se détermine en résolvant le système
xyz=xyzQ x+y+z=1.
Méthodes
1) Décrire un processus de Markov par des matrices
Conseils
Déterminez la matrice ligne de taille 3 décrivant l’état initial puis la matrice carrée de transition d’ordre 3 dont les coefficients sont les probabilités que la souris passe d’un compartiment à un autre.
Solution
On note Xn le numéro du compartiment où se trouve la souris après n déplacement. On a tout d’abord PX0=1=1 ; PX0=2=0 et PX0=3=0, puisque la souris se trouve au départ dans C1. L’état initial est donc donné par la matrice ligne π0=100.
Ensuite, si la souris se trouve dans C1, elle emprunte une des trois ouvertures de C1 de manière équiprobable : l’une mène dans C2 et les deux autres mènent dans C3 donc PXn=1Xn+1=2=13 et PXn=1Xn+1=3=23.
On démontre de même que PXn=2Xn+1=1=12 et PXn=2Xn+1=3=12 et que PXn=3Xn+1=1=23 et PXn=3Xn+1=2=13.
La matrice de transition associée est donc Q= 01/32/31/201/21/32/30.
2) Décrire l’état d’un processus au bout de plusieurs étapes
Conseils
Les coefficients de Q10 sont les probabilités qu’a la souris de se trouver dans le compartiment j au bout de 10 déplacements sachant qu’elle était dans le compartiment i au départ.
Solution
D’après la calculatrice, le coefficient de la première ligne et de la deuxième colonne de Q10 est 0,342 arrondi au millième donc a=0,342.