Mathématiques 3: Algèbre linéaire
Système d'équations linéaires
Processus de Markov

Processus de Markov

La méthode de Markov est une méthode applicable aux situations évolutives où l'on passe d'un état à un autre état selon certaines probabilités. Cette méthode est appelée chaîne de Markov ou processus de Markov .

On fixe la matrice de transition T , matrice carrée des coefficients, dont les éléments sont les probabilités pij de transition d'une situation i à une situation j, sur une certaine période. Les étapes de transition, parmis les (n), passeront alors d'une période t à une autre 2t; de 2t à 3t; ...

On vérifie toujours que La matrice T est stochastique, c'est à dire la somme des élements de chaque ligne est égal à 1.

Après une période de transformation, donc au cours d'une période t, l'état du système, passant de t = 0 à t = t, devient E⁽¹⁾ = E⁽⁰⁾ T ,

où E⁽⁰⁾ est une matrice 1xn représentant l'état initial de ce système.

On répète le processus de Markov plusieurs fois à partir de l'état inital l'état du système. À la n ième période, c'est à dire au temps nt, l'état du système devient:

E⁽ⁿ⁾ = E⁽⁰⁾ Tⁿ

où E⁽ⁿ⁾ est une matrice 1xn représentant l'état de ce système plus tard, après n périodes de transformations.

On s'intéresse à l'évolution du système à long terme, on cherche ainsi un état limite. Cet état limite est le stable, qui ne plus affecté par une transformation, c'est à dire tell que E[ei]= E[ei] T[p_ij]_nxn.

Cette dernière équation matricielle est système d'équations linéaires, auque on doit ajouter l'équation σ ei = 1.

On résoud ce système, généralement par la méthode de Gauss-Jordan qui mène directement au résultat.

Rappelons qu'au cours de la méthode de Gauss-Jordan , on construit la matrice augmentée, on effectue des transformations élémentaires pour obtenir la matrice escaler. Une fois c'est fait, on continue les transformations élémentaires pour obtenir la matrice de Gauss-Jordan qui est la matrice escalier dont les pivots sont les seuls éléments de leurs colonnes respectives.