Tarea de Martingalas y Cadenas

de Markov
Ejercicios
1. Retmese el ejemplo del proceso de ramicacin visto en clase sobre el
tamao de la ensima generacin. As, considera una muestra aleatoria
tXrpmq : m, r P Nu con distribucin geomtrica, es decir,
PpXrpmq  k q  pq k 1t0,1,2,...u pk q, @ m, r,

donde 0 p 1 y q  1
p. Recuerda que

Z X
pnq    X pnq
n 1 Zn
1

es el tamao de la ensima generacin con Z0  1. Adems, las fun-

ciones generadoras de probabilidades estn dada por f p q  Ep q y
X

fn pq  EpZn q, donde X tambin se distribuye como una geomtrica.

Tambin, n  PpZn  0q y  PpZm  0, para alguna mq. Considera
nalmente,
 Znn ,
Mn

M8  lm Mn y Lpq  Epe
M8 q.
n8

a) Calcula explcitamente f pq,  EpX q y .

1

b ) Determina f  f      f. Para ello, considera una matriz G de

2  2 no singular 

G
g11 g12
g21 g22
y dene la transformacin lineal fraccional:

Gpq 
g11 g12
.
g21 g22
Verica que si H es otra matriz como G, entonces,
GpH pqq  pGH qpq.
1 En trminos de p, q y .

1
 Usa mtodos matriciales para encontrar la ensima potencia de la
matriz asociada a f y as determinar explcitamente fn pq.
c ) Demuestra que si 1, entonces lm fn pq  1.
n8

d ) Supngase que 1. Demuestra que para 0,

8
Lpq  e
p0q p1
q2e
xe
p1
qxdx.
0

e) Con el inciso anterior, deduce que

PpM8  0q  y PpM8 xq  p1
qe
p1
q x, x 0.

f ) Supngase que 1. Demuestra que

EpZn |Zn  0q  fn1p
q
f fp0npq0q ,

n

y determina lm PpZn  k |Zn  0q, para k 1.

n8

g ) Supngase ahora que  1. Demuestra por induccin que

n
pn
1q
fn pq 
pn 1q
n ,
y que
lm PpZn {n x|Zn
n8
 0q  e
x, x 0.

2. Sea T un tiempo de paro tal que para alguna N natural y para  0,

se tiene que para todo n P N :

PpT
n N |Fn q , c.s.

Demuestra que EpT q 8.

Sugerencia: Prueba por induccin usando que PpT kN q  PpT
kN, T pk
1qN q para k  1, 2, 3, . . .

PpT kN q p1
qk .

2
3. Supngase que X1 , X2 , . . . es una muestra aleatoria donde
PpXn  1q  p, PpXn 
1q  q @ n 1,
donde 0 p  1
q 1, y p  q. Adems, considrese que a y b son
dos enteros tales que 0 a b. Defnase
Sn  a X1    Xn , T  nf tn : Sn  0 o Sn  bu.

Sea Fn  pX1 , . . . , Xn q con F0 la
lgebra trivial.

a) Explica por qu T satisface las condiciones del problema del inciso
anterior.
b ) Demuestra que M  pMn qn0 es una martingala, donde:

q Sn
Mn  p

c) Demuestra que N  pNnqn0 es una martingala, donde:

Nn  Sn
npp
q q.

d ) Determina los valores de PpST  0q y EpST q.

4. Considera una ltracin sobre p, F, Pq y sean S y T tiempos de paro.

a ) Demuestra que S ^ T  m ntS, T u es tiempo de paro.
b ) Demuestra que S _ T  m ntS, T u es tiempo de paro.
c ) Demuestra que FS ^T FT FS _T .

5. Sea M  pMn qn0 una martingala con Mn P L2 , para toda n. Sean S

y T dos tiempos de paro tales que S T.
a ) Demuestra que MS , MT P L .
2

b) Demuestra que
EtpMT
MS q2|FS u  EtMT2
MS2 |FS u.
c) Prueba que
EtpMT
MS q2u  EpMT2 q
EpMS2 q.
3
 6. Una martingala X se llama acotada en L2 si suptEpXn2 qu 8. Sea X
P L2 para cada n. Demuestra que X
n
una martingala tal que Xn est
acotada en L2 si y slo si
8
EtpXn
Xn
1 q2 u 8.

n 1

7. Sea X una martingala acotada en L2 . Demuestra que

a) suptEp|Xn |qu 8.
n

b) lm Xn
8
n
 X P L1 .
c.s.

8. Sea pXn qn1 una sucesin de variables aleatorias independientes e idn-

ticamente distribuidas del siguiente modo: PpXn  1q  PpXn 
1q 
8

1{2. Sea pn qn1 una sucesin de reales. Demuestra que n Xn con-
n1
8

verge casi seguramente si n 8.
n1

9. Sea pXn qn1 una muestra aleatoria de variables no negativas tales que
EpX1 q  1. Dene

n
Rn  Xj .
 j 1

Demuestra que pRn qn1 es una martingala.

10. Simula el problema de las urnas visto en clase y determina a qu va-
riable aleatoria converge la martingala para:
a) el caso donde la urna inicial contiene 2 esferas blancas y 1 roja.
b ) el caso donde la urna inicial contiene 1 esfera blanca y 2 rojas.

11. Una pulga salta aleatoriamente sobre los vrtices de un tringulo, don-
de cualquier salto es equiprobable. Encuentra la probabilidad de que
despus de n saltos, la pulga se encuentre donde comenz.
Supn que otra pulga salta sobre los vrtices de un tringulo y considera
que esta pulga es el doble de propensa a saltar tanto a la derecha como
a la izquierda. Cul es la probabilidad de que despus de n saltos esta
pulga se encuentre donde comenz?

4
12. Considera un dado especial tal que cuando se lanza, el resultado no
puede ser el mismo que el anterior y todos los dems posibles valores
son equiprobables.
a) Si el primer resultado es 6, cul es la probabilidad p de que el
ensimo resultado sea 6?
b ) Si el primer resultado es 6, cul es la probabilidad de que el
ensimo resultado sea 1?
13. Un pulpo est entrenado para seleccionar el objeto A de un par de obje-
tos A y B a travs de repeticiones donde se le muestran ambos objetos
y se le rencompensa con comida si elige A. El pulpo puede encontrarse
en uno de tres estados mentales: en el estado 1 le es imposible recordar
cul es el objeto premiado y equiprobablemente elige alguno de los ob-
jetos; en el estado 2 recuerda y elige A pero puede olvidar nuevamente
y; en el estado 3 recuerda y elige el objeto A y nunca olvida. Despus
de cada repeticin, el pulpo puede cambiar su estado mental segn la
siguiente matriz de transicin:
Estado 1 1{2 1{2 0

Estado 2 1{2 1{12 5{12

Estado 3 0 0 1

Supn que el pulpo se encuentra en el estado 1 antes de la primera

repeticin.
a) Cul es la probabilidad de que se encuentre en el estado 1 justo
antes de la n 1 sima repeticin?
b ) Cul es la probabilidad de que elija el objeto A en la n 1 sima
repeticin?
14. Sea pXn qn0 una cadema de Markov sobre t0, 1, 2, . . .u con probabili-
dades de transicin dada por p0,1  1, pi,i 1 pi,i
1  1 y

i 1 2
pi,i 1  i
pi,i
1 , i 1.

Prueba que si X0  0, entonces, la probabilidad de que Xn 1 para

toda n 1 es 6{ 2 .

5
15. Considera la cadena de Markov que describe la ruina del jugador.

a) Encuentra todas las medidas invariantes para esta cadena.

b ) Deduce en qu casos se tiene recurrencia positiva o recurrencia
nula.
c ) Determina

T0
1
p0q
i  E0 1Xn i ,
n0

donde T0  nf tn : Xn  0u.
d ) Calcula el tiempo promedio que le toma al jugador tener i unidades
de dinero, habiendo comenzado con i.
16. Demuestra que para una cadena de Markov sobre un espacio de estados
nito, un estado i es transitorio si y slo si existe un estado k tal que
i k pero k i. Da un ejemplo donde este criterio no sea verdadero.

17. Estudia la recurrencia y transitoriedad de la cadena de Markov que

describe la ruina del jugador, donde adems se supondr que p0,1 0
y p0,0 p0,1  1. Calcula


P lm Xn
8
n
8 .

18. Estudia la recurrencia y transitoriedad de la cadena de Markov de naci-

miento y muerte, donde adems se supondr que p0,1 0 y p0,0 p0,1 
1. Calcula

P lm Xn
8
n
8 .

19. (Proceso Poisson) Sean T1 , T2 , . . . una muestra aleatoria de exponen-

ciales con parmetro 0. Defnase Sn  T1    Tn y para t 0 :
Nt  nf tn : Sn tu.
Demuestra que
 kq  ptk!q
k
PpNt e
t .

El proceso N  pNtqt0 se conoce como Proceso Poisson con parmetro

.

6
20. (Proceso Poisson Compuesto) Considrense pXn qn1 una muestra
aleatoria y N  pNt qt0 un Proceso Poisson con parmetro 0.
Supngase que tX1 , X2 , . . .u es independiente de N. Defnase para t
0:

Nt
St  Xj ,

j 1

donde S0  0.
a) Demuestra que EpSt q  EpNt qEpX1 q.
b ) Demuestra que VarpSt q  EpNt qVarpX1 q VarpNt qEpX1 q2 .