Université de Marne la Vallée Master IMIS - Math

Lundi 5 janvier 2009 Processus stochastiques 1

Examen : Chaînes de Markov
Durée 3h - Ni calculatrice, ni documents autorisés -

Question de cours.
Donner la définition
1. d’une chaîne de Markov homogène récurrente positive
2. d’une chaîne de Markov homogène récurrente nulle
3. d’une chaîne de Markov homogène transiente

Exercice 1.
On considère une chaîne de Markov sur les sommets d’un triangle ABC. Cette chaîne est
définie par les règles suivantes : chaque instant on se déplace sur le sommet contigu en sens
trigonométrique avec probabilité p et dans le sens des aiguilles d’une montre avec une probabilité
1 − p, où p désigne un rel tel que 0 < p < 1.
1. Tracer le graphe et écrire la matrice de transition de cette chaîne.
2. Montrez que cette chaîne est irréductible, récurrente positive.
3. Calculez sa probabilité invariante π.
4. Calculez
lim Pπ (Xn = A, Xn+1 = B) et lim Pπ (Xn = B, Xn+1 = A) .
n→+∞ n→+∞

5. Pour quelles valeurs de p la probabilité invariante π est-elle réversible ?

Exercice 2. (Algorithme de Métropolis)

Soit E un ensemble d’états fini ou dénombrable et P une matrice de transition irréductible.
1. Soit µ une probabilité réversible pour P .
Montrez que, sous Pµ , la loi du chemin (X0 , X1 , . . . , Xn ) est la même que celle du chemin
en marche arrière (Xn , Xn−1 , . . . , X0 ).

2. On suppose maintenant et dans tout la suite de l’exercice que P est symétrique i.e.
∀(x, y) ∈ E × E, P (x, y) = P (y, x).
(a) On suppose E fini. Quelle est la probabilité invariante de P ?
(b) On suppose E infini dénombrable. Une chaîne de Markov de transition P est-elle
récurrente ? Récurrente nulle ? Rcurrente positive ?
3. On suppose E fini ou dénombrable. Soit π une probabilité sur E telle que π(x) > 0 pour
tout x ∈ E.
On définit alors une nouvelle matrice de transition Q par


 P (x, y) si π(y) ≥ π(x) et x 6= y,

 π(y)
P (x, y) si π(y) < π(x),

Q(x, y) := X π(x)
1−



 Q(x, z) si y = x.

z6=x

1
 (a) Montrez que Q est bien une matrice de transition.
(b) Montrez que P (x, y) > 0 ⇒ Q(x, y) > 0. En déduire que Q est irréductible.
(c) Montrez que π est réversible pour Q et donc que π est invariante pour Q.
Note : cet exercice montre comment on peut construire une chaîne de Markov ayant une proba-
bilité stationnaire π fixée l’avance.

Exercice 3. Angela possède 3 parapluies. Chaque jour, elle va au bureau le matin et revient son
domicile le soir. Pour chaque trajet, s’il pleut, elle emporte avec elle un parapluie, à condition
qu’il y ait au moins l’un des trois parapluies sa disposition sur place. Bien entendu elle ne peut
pas emporter de parapluie avec elle s’il pleut mais qu’aucun des trois parapluies ne se trouve sa
disposition sur place. Elle n’emporte pas de parapluie non plus s’il ne pleut pas.
1
On suppose que la probabilité qu’il pleuve au début de chaque trajet est de et que celle-ci
3
est indépendante de la météo (pluie / beau temps) de tous les trajets antérieurs.
Soit Xn le nombre de parapluies qu’Angela possède l’endroit où elle se trouve avant de débuter
le n-ime trajet.
1. Montrer que (Xn )n≥0 est une chaîne de Markov et donner sa matrice de transition.
2. Quelle est la nature de cette chaîne ?(Irréductible ? Transiente ? Récurrente ?)
3. Quelle est la probabilité, asymptotiquement au bout d’un grand nombre de voyages, qu’An-
gela ne dispose pas de parapluie sur place au moment de partir ?
4. Quelle est la probabilité asymptotique qu’elle se fasse mouiller bêtement, c’est–dire qu’elle
n’ait pas de parapluie sa disposition alors qu’il pleut lors de son départ ?

Exercice 4. (Compagnie d’assurance)

A Gotham City, la compagnie d’assurance LUTHORSUR a instauré une formule de primes
de risque base sur les sinistres enregistrés de ses clients. Si aucun accident ne s’est produit au
cours des deux dernières années, la prime est de 400 gothams (la monnaie locale). Si un accident
s’est produit pendant les deux dernières années la prime monte 750 gothams, et si l’assuré a eu
deux accidents pendant les deux dernières annes, la prime culmine 1200 gothams. On suppose de
plus qu’un assuré ne peut avoir, au maximum, qu’un accident par an. Les analyses basées sur les
statistiques de sinistres des dix dernières années indiquent que :
– Si un accident s’est produit l’année passe, il y a 12% de chances d’avoir un accident cette
anne.
– Si aucun accident n’a t enregistré l’an dernier, il y a seulement 4% de chances d’avoir un
accident cette année.
1. Modéliser ce problème par une chaîne de Markov. Donner sa matrice de transition.
2. Quelle est la prime moyenne payée chaque année par un client la compagnie d’Alex Luthor ?