EXAMEN 15 d ecembre 2009 Probabilit es approfondies MM011 Dur ee 3h. Documents interdits Exercice 1.

Soit (Xn )n0 une cha ne de Markov sur E d enombrable avec matrice de transition Q. Soit u une fonction positive born ee sur E telle que, pour un certain > 0, Qu(x) = u(x), x E (1) 1. Montrer que Zn = n u(Xn ) est une martingale sous Px par rapport a ` la ltration canonique de (Xn )n0 pour tout x E . 2. Soit T un temps darr et born e. Montrer que u(x) = Ex T u(XT ) (2)

Soit Sn la marche al eatoire simple sym etrique sur Z, Sn = S0 + n i=1 Yi , avec (Yn )n1 i.i.d. et Px (Yi = 1) = Px (Yi = 1) = 1/2, Px (S0 = x) = 1. Soit TR = inf {n 0 : |Sn | R}, x, R Z et R < x < R. 3. Montrer que (Sn )n0 est une cha ne de Markov et en donner la matrice de transition. Montrer que TR est un temps darr et. 4. Montrer que, pour 0 < < /2, Vn := eiSn /(cos )n est une martingale a ` valeurs complexes, i.e. |Vn | est int egrable et Ex (Vn+1 | Fn ) = Vn pour tout n 0. En d eduire que (Zn )n0 est une martingale, o` u Zn = 5. Soit 0 < <
. 2R

cos(Sn ) . (cos )n

Montrer que Ex (cos )TR cos(x) . cos(R) (3)

En d eduire que Px (TR < +) = 1. 6. Calculer Ex (|STR |), Ex (STR ) et la loi de STR sous Px . 7. Quelle est la loi de STR +1 sous Px ? 8. D eduire de la formule (3) quil existe ]0, 1[ et C ]0, +[ tels que Px (TR n) C n , n N. (4)

Exercice 2. On d esire etudier l evolution du nombre Xn de personnes dans une salle dattente. On suppose que si k personnes sont dans la salle dattente avec k 1, alors le prochain changement du nombre de personnes dans la salle dattente correspond ` a une arriv ee avec probabilit e p ]0, 1[ et ` a un d epart avec probabilit e 1 p. Si k = 0, le prochain changement correspond a ` une arriv ee. On d ecrit ce processus a ` laide dune suite (Yn , n 0) de variables al eatoires ind ependantes de m eme loi a ` valeurs dans {1, 1} telles que P(Yn = 1) = p = 1 P(Yn = 1). Soient x N et (Xn )n0 d eni par X0 = x et, pour n 1, on pose Xn = Xn1 + Yn 1{Xn1 >0} + 1{Xn1 =0} . On d enit aussi S0 = x et pour n 1, Sn = Sn1 + Yn . 1. Montrer que le processus (Xn )n0 est une cha ne de Markov sur N et donner sa matrice de transition. Montrer que la cha ne est irr eductible. 2. Montrer par r ecurrence que p.s. Xn Sn pour tout n N. 3. Soit p > 1/2. Montrer que p.s. limn Sn = + et en d eduire que p.s. limn Xn = +. Dans ce cas, la cha ne est-elle r ecurrente nulle, r ecurrente positive ou transiente ? 4. Montrer que si est une mesure invariante pour (Xn )n0 , alors (0) = (1 p)(1), (n) = n1 (1), n 1

o` u = p/(1 p). Discuter lunicit e des mesures invariantes. 5. Pour quelles valeurs de p a-t-on une mesure de probabilit e invariante pour (Xn )n0 ? La mesure de probabilit e invariante est-elle unique ? 6. On suppose que la probabilit e invariante existe. Dans ce cas, la cha ne de Markov (Xn )n0 est-elle r ecurrente nulle, r ecurrente positive ou transiente ? La cha ne est-elle r eversible par rapport a ` ? Quel est le temps moyen quil faut attendre pour retourner a ` 0 si p.s. X0 = 0 ? 7. On suppose p = 1/2. Montrer que (Xn )n0 a m eme loi que (|Sn |)n0 .

Corrig e Solution de lexercice 1. 1. Dabord, Zn = n u(Xn ) est born ee donc int egrable. On a alors Px -p.s. Ex (u(Xn+1 ) | Fn ) = Qu(Xn ) = u(Xn ). Donc Ex (Zn+1 | Fn ) = Ex ( n1 u(Xn+1 ) | Fn ) = n u(Xn ) = Zn . 2. Soit T un temps darr et born e. Par le Th eor` eme darr et born e (Thm. 4.4.2 du poly) on a Ex T u(XT ) = Ex (ZT ) = Ex (Z0 ) = u(x). 3. Si on d enit f : Z Z Z, f (s, y ) := s + y , alors Sn+1 = f (Sn , Yn+1 ) et le processus (Sn )n0 s ecrit donc comme dans le Th eor` eme 5.3.5 du poly, et on a alors quil sagit bien dune cha ne de Markov. La matrice de transition est Q(x, y ) = P(f (x, Y1 ) = y ) = P(Y1 = y x) = 1 1(yx=1) + 1(yx=1) . 2

Or {TR = n} = {|S0 | < R, . . . , |Sn1 | < R, |Sn | R} Fn . 4. Soient 0 < < , eix = cos(x) + i sin(x), x Z, et := cos . On peut 2 remarquer que |Vn | = (cos )n L1 et Ex (eiSn+1 | Fn ) = eiSn Ex (eiYn+1 | Fn ) = eiSn Ex (eiYn+1 ) = eiSn ei + ei = eiSn cos = eiSn . 2

Si on d enit Vn := eiSn /(cos )n alors (Vn )n0 est une martingale et Zn = (Vn + Vn )/2 lest aussi. et R < x < R. On consid` ere le temps darr et born e TR n 5. Soit 0 < < 2 R et on a alors par le Th eor` eme darr et born e Ex (ZTR n ) = Ex cos(STR n ) (cos )TR n = Z0 = cos(x).

Or, on a par les d enitions que |STR n | R. Puisque la fonction cos() est paire et d ecroissante positive sur [0, /2[, et puisque R ]0, /2[, on obtient que cos(STR n ) = cos(|STR n |) > cos(R) et donc cos(x) = Ex cos(STR n ) (cos )TR n 3 cos(R) (cos )TR n

Ex

et nalement par convergence monotone Ex (cos )TR = lim Ex

n

1 (cos )TR n

cos(x) . cos(R)

Donc p.s. (1/ cos )TR > 0 et, puisque cos ]0, 1[, cela veut dire que p.s. TR < +. 6. La loi de STR est donn ee par la ruine du joueur, voir le poly section 4.10 : +x Rx . On peut voir cela en remarquant Px (STR = R) = 2R , Px (STR = R) = R 2R que Sn est une martingale, et donc que x = Ex (S0 ) = Ex (STR n ) Ex (STR ) par convergence domin ee, car |STR n | R pour tout n 0. Or Ex (STR ) = R Px (STR = R) R Px (STR = R), Px (STR = R) + Px (STR = R) = 1 et ces deux equations ont comme seule solution les deux valeurs donn ees cidessus. 7. Par la propri et e de Markov forte on a que, puisque Px (TR < +) = 1, Px (STR +1 = y ) = Ex (PSTR (S1 = y )) =
1 Or Pz (S1 = y ) = 2 1(|zy|=1) et donc

Rx R+x PR (S1 = y ) + PR (S1 = y ). 2R 2R

Px (STR +1 = R + 1) = Px (STR +1 = R 1) =

1 Rx , 2 2R

Px (STR +1 = R + 1) = Px (STR +1 = R 1) = Px (STR +1 = y ) = 0, 8. Soit 0 < < et par (3)

, 2R

1 R+x , 2 2R y / {R + 1, R 1, R + 1, R 1}.

R < x < R et := cos ]0, 1[. Par lin egalit e de Markov Ex TR C n n

Px (TR n) = Px o` u C :=
cos(x) . cos(R)

TR

Solution de lexercice 2.

1. Soit f : N {1, 1} N d enie par f (x, z ) := x + z 1{x>0} + 1{x=0} . On peut donc ecrire Xn = f (Xn1 , Yn ) et par le Th eor` eme 5.3.5 du poly le processus (Xn )n est bien une cha ne de Markov. Sa matrice de transition est Q(x, y ) = P(f (x, Y1 ) = y ) = 1{x>0} p1(yx=1) + (1 p)1(yx=1) + 1{x=0,y=1} . La cha ne est clairement irr eductible car avec probabilit e positive on peut aller de tout x 0 ` a y = x + 1 et de tout x > 0 ` a y = x 1. 2. On a X0 = x = S0 . Si p.s. Xn1 Sn1 alors p.s. Xn = Xn1 + Yn 1{Xn1 >0} + 1{Xn1 =0} Sn1 + Yn = Sn . Puisque ceci est vrai pour tout n N, par intersection d enombrable on a que P(Xn Sn , n N) = 1. 3. Si p > 1/2 alors p.s. limn Sn = + par la loi des grands nombres, car p.s. Sn = E(Y1 ) = 2p 1 > 0. n n Puisque p.s. Xn Sn pour tout n N, on obtient que p.s. limn Xn = +. La cha ne etant irr eductible, tous les etats ont le m eme caract` ere, soit tous r ecurrents soit tous transients. Puisque Xn diverge vers +, il visite tout etat y N p.s. un nombre ni de fois. Ceci est possible seulements si les etats sont transients. 4. On a que est une mesure invariante pour (Xn )n0 ssi Q = . Pour x = 0 on a que Q(y, 0) > 0 seulement pour y = 1 et donc lim (0) = (1) Q(1, 0) = (1) (1 p). Pour x > 0 on a que Q(y, x) > 0 seulement pour y {x + 1, x 1} et donc (x) = (x 1) p + (x + 1) (1 p). Pour x = 1 on a (1) = (0) p + (2) (1 p) = (1) (1 p) + (2) (1 p) p (1). 1p Par r ecurrence si (n) = n1 (1) pour = p/(1 p) et n 1 alors (2) = (n) = (n 1) p + (n + 1) (1 p) = (n + 1) = (1)(n1 pn2 )/(1 p) = n (1). Par ce calcul on voit que les mesures invariantes sont uniques a ` une constante multiplicative pr` es (dans lexpression trouv ee egale ` a (1)). 5 et on en d eduit

5. Par la question pr ec edente, une mesure de probabilit e invariante existe ssi on peut normaliser , cest a ` dire ssi (N) = (1) 1 p +
n1

n1

< +,

donc ssi < 1 p < 1/2. Dans ce cas on a donc que (n) = (n) , (N) n 0,

est la seule mesure invariante de probabilit e, car les mesures invariantes sont uniques ` a une constante multiplicative pr` es. 6. Soit p < 1/2. Lexistence dune mesure de probabilit e invariante implique que la cha ne est r ecurrente positive. Pour la r eversibilit e il faut v erier (x) Q(x, y ) = (y ) Q(y, x), x, y N.

Il sut de consid erer x > 0 et y {x + 1, x 1} ou x = 0 et y = 1, car dans tous les autres cas Q(x, y ) = Q(y, x) = 0. Si x 0 et y = x + 1 alors (x) Q(x, x + 1) = x1 x p= (1 p) = (x + 1) Q(x + 1, x). (N) (N)

Si x > 0 et y = x 1 alors (x) Q(x, x 1) = x1 x2 (1 p) = p = (x 1) Q(x 1, x). (N) (N)

On a donc bien la r eversibilit e de . Le temps moyen de retour a ` 0 partant de 0 est 1/ (0). 7. Soit f (x) := 1(|x|=y) . On rappelle que (Sn )n0 est une cha ne de Markov avec matrice de transition P (x, y ) := 1 1(yx=1) + 1(yx=1) , 2 x, y Z.

Par la propri et e de Markov de (Sn )n0 , pour y 0 P(|Sn+1 | = y | Fn ) = P f (Sn ) = 1 1(|Sn |=0,|y|Sn ||=1) + 1(|Sn |=0,y=1) . 2

Puisque lexpression a ` droite d epend uniquement de |Sn |, on obtient que (|Sn |)n0 est une suite markovienne. En outre, pour p = 1/2 la matrice de transition de (|Sn |)n0 est la m eme que celle de (Xn )n0 . Si les deux cha nes de Markov ont donc la m eme loi initiale, elles ont la m eme loi comme processus.