Chaînes de Markov

Les chaînes de Markov étudiées ont 2 ou 3 états et sont définies par leur état initial et par leur matrice de transition.

I. Notions de chaînes de Markov

1) Théorème et définitions

Définition : Une chaîne de Markov (homogène) à 3 états (notés 1, 2 et 3) est définie par la loi de probabilité de son état initial donné par une matrice ligne $\pi_0$ de taille 3 et par sa matrice de transition $Q$ de format $3 \times 3$.

À noter

On définit de manière analogue une chaîne de Markov à 2 états.

Soit $n$ un entier naturel, si $X_n$ décrit l’état du processus après $n$ transitions, alors $\pi_0 = P(X_0 = 1) \ P(X_0 = 2) \ P(X_0 = 3)$ et les coefficients $p_{ij}$ de la matrice $Q$ sont les probabilités de transition de $i$ vers $j$ définies pour tout entier naturel $n$ par : $p_{ij} = P(X_n = i \ X_{n+1} = j)$.

2) Graphe pondéré d’une chaîne de Markov

Définitions : Un graphe est orienté si ses arêtes, appelées arcs, sont des couples (donc orientés) de sommets (pas forcément distincts). Une boucle est un arc reliant un sommet à lui-même. Un graphe est pondéré si chacune de ses arêtes (orienté ou non) est associée à un nombre réel appelé poids.

Le graphe associé à une chaîne de Markov admet pour sommets l’ensemble de ses états (2 ou 3) et pour arcs les couples $i, j$ pour $i$ et $j$ variant de $1$ à $2$ ou $3$ pondéré par la probabilité de transition $p_{ij}$ de $i$ vers $j$.

À noter

La matrice de transition est une matrice stochastique, c’est-à-dire que sur chacune de ses lignes la somme des coefficients vaut 1.

II. État au bout de n transitions et état invariant

Théorèmes : Soit $n$ un entier naturel et soit une chaîne de Markov de loi de probabilité de l’état initial $\pi_0$ et de matrice de transition $Q$.

Le coefficient de la $i$-ième ligne et $j$-ième colonne de $Q^n$ est $P(X_0 = i \ X_n = j)$.

La loi de probabilité de l’état du système à l’instant $n$ est définie par :
$\pi_n = P(X_n = 1) \ P(X_n = 2) \ P(X_n = 3)$ et on a $\pi_n = \pi_0 Q^n$.

Définition : Un état $\pi$ est appelé invariant (stationnaire ou stable) pour une chaîne de Markov de matrice de transition $Q$ si $\pi = \pi Q$.

Remarque : L’état invariant $\pi$ se détermine en résolvant le système

$\begin{pmatrix}x\quad y \quad z\end{pmatrix}=\begin{pmatrix}x\quad y \quad z\end{pmatrix}Q$

$x + y + z = 1$

Méthodes

1) Décrire un processus de Markov par des matrices

Une cage comporte 3 compartiments $C_1$, $C_2$, et $C_3$. On place une souris dans le compartiment$C_1$. Elle se déplace d'un compartiment à un autre en empruntant de manière équiprobable une ouverture du compartiment où elle se trouve. Modéliser le déplacement à l'aide de matrices.

Conseils

Déterminez la matrice ligne de taille 3 décrivant l’état initial puis la matrice carrée de transition d’ordre 3 dont les coefficients sont les probabilités que la souris passe d’un compartiment à un autre.

Solution

On note $X_n$ le numéro du compartiment où se trouve la souris après $n$ déplacements. On a tout d’abord $P(X_0 = 1) = 1$ ; $P(X_0 = 2) = 0$ et $P(X_0 = 3) = 0$, puisque la souris se trouve au départ dans $C_1$.

L’état initial est donc donné par la matrice ligne $\pi_0 =\begin{matrix}( 1 \quad 0 \quad 0 )\end{matrix}$

Ensuite, si la souris se trouve dans $C_1$, elle emprunte une des trois ouvertures de $C_1$ de manière équiprobable : l’une mène dans $C_2$ et les deux autres mènent dans $C_3$. Donc :
$P(X_n = 1 \ X_{n+1} = 2) = \dfrac{1}{3}$ et $P(X_n = 1 \ X_{n+1} = 3) = \dfrac{2}{3}$.

On démontre de même que :
$P(X_n = 2 \ X_{n+1} = 1) = \dfrac{1}{2}$ et $P(X_n = 2 \ X_{n+1} = 3) = \dfrac{1}{2}$,
et que :
$P(X_n = 3 \ X_{n+1} = 1) = \dfrac{2}{3}$ et $P(X_n = 3 \ X_{n+1} = 2) = \dfrac{1}{3}$.

La matrice de transition associée est donc :
$Q = \begin{pmatrix} 0 \quad \dfrac{1}{3} \quad \dfrac{2}{3} \\ \dfrac{1}{2} \quad 0 \quad \dfrac{1}{2} \\ \dfrac{2}{3} \quad \dfrac{1}{3} \quad 0 \end{pmatrix}$ .

2) Décrire l’état d’un processus au bout de plusieurs étapes

La souris se déplaçant comme ci-dessus, déterminer l'arrondi au millième de la probabilité $a$ qu'elle soit dans le compartiment $C_2$ après $10$ déplacements;  

Conseils

Les coefficients de $Q^{10}$ sont les probabilités qu’a la souris de se trouver dans le compartiment $j$ au bout de 10 déplacements sachant qu’elle était dans le compartiment $i$ au départ.

Solution :

D’après la calculatrice, le coefficient de la première ligne et de la deuxième colonne de $Q^{10}$ est $0,342$ arrondi au millième, donc $a = 0,342$.