Markov Discreto

Problemas Resueltos de Modelos Estocsticos
Marzo de 2005
Contenidos
I Cadenas de Markov Discreta 1

1 Cadenas de Markov Discreta 2
i
Parte I
Cadenas de Markov Discreta
1
Captulo 1
Cadenas de Markov Discreta
1. Tres bolitas blancas y tres bolitas negras se distribuyen en dos urnas de modo que cada una contiene tres
bolitas. Decimos que el sistema est en el estado i (i = 0, 1, 2, 3) si la primera urna contiene i bolitas blancas.
En cada etapa, se saca simultneamente una bolita de cada urna y se pone la bolita sacada de la primera
urna, en la segunda, y la bolita sacada de la segunda urna, en la primera.
Sea Xn el estado del sistema despus de la etapa n.
(a) Es este proceso una cadena de Markov discreta?

(b) Calcule las probabilidades de transicin en una etapa
(c) Suponga ahora que se han realizado un gran nmero de intercambios de bolitas. Cul es la probabilidad
que la primera urna contenga las tres bolitas blancas? Depende esta probabilidad de la distribucin
inicial de las bolitas?
Solucin:
Sabemos que en cada etapa, se saca una bolita de cada urna, y se pone la bolita sacada de la primera urna,
en la segunda y recprocamente.
Sea Xn el nmero de bolitas blancas en la urna 1 despus de la etapa n.
(a) Este proceso es una cadena de Markov discreta debido a que cumple la propiedad markoviana y la
propiedad de estacionariedad.
El proceso cumple la propiedad markoviana, puesto que el nmero de bolitas blancas en la urna 1 despus
de la etapa n + 1 depende de todo el pasado, pero slo a travs de lo ocurrido en n (Xn contiene la
informacin anterior). Adems, cumple la propiedad de estacionariedad, puesto que Pr{Xn+1 = j/Xn =
i} es independiente de la etapa en que se observa el sistema, es decir, independiente de n (debido a que
la extraccin de bolitas es completamente al azar).
(b) Las probabilidades de transicin se calculan como sigue:
P0,0 = Probabilidad de pasar del estado 0 al estado 0, es decir,
P0,0 = Pr { bolita que pasa de la urna 2 a la urna 1 sea negra / hay 3 blancas en la urna 2}
= 0
P0,1 = Probabilidad de pasar del estado 0 al estado 1, es decir,
P0,0 = Pr {bolita que pasa de la urna 2 a la urna 1 sea blanca / hay 3 blancas en la urna 2}
= 1
2
CAPTULO 1. CADENAS DE MARKOV DISCRETA 3
Luego, la matriz de transicin de probabilidades, P , es:

0 1 0 0
1/9 4/9 4/9 0
P = 0

4/9 4/9 1/9
0 0 1 0
(c) Se pide la probabilidad que la primera urna contenga las tres bolitas blancas, en el largo plazo, es decir,
(n)
se pide 3 = lim f3
n
Esta cadena de Markov es irreducible con estados recurrentes positivos aperidicos, por lo que existe
distribucin estacionaria con todos los i > 0 (i = 0, 1, 2, 3). Por lo tanto, es independiente de la
distribucin inicial.
Para calcular 3 , se resuelve el sistema:
T = T P
3

i = 1
i=0
Resolviendo el sistema de ecuaciones se obtiene que:
0 = 0, 05
1 = 0, 45
2 = 0, 45
3 = 0, 05
2. En una fbrica existe espacio para guardar desperdicios de la produccin, con capacidad para almacenar K
metros cbicos. Cada semana, la fbrica produce N metros cbicos de desperdicio, siendo N una variable
aleatoria, tal que Pr{N = j} = a(j) , j = 0, 1, 2, 3, ...
Si la cantidad de desperdicio producido en una semana supera la capacidad disponible, el exceso debe elimi-
narse forzosamente a travs de un procedimiento especial a un costo de $A por metro cbico.
Al final de cada semana existe la posibilidad de remover desperdicios a travs de un procedimiento regular a
un costo fijo de $B y un costo variable de $C por metro cbico. (Asuma que A > C y que A K > B + C K).
La empresa ha decidido utilizar la siguiente poltica (sujeta a los costos indicados): si al final de la semana,
el espacio dedicado a guardar desperdicios contiene ms de D metros cbicos (D < K), el espacio se vaca
completamente; en caso contrario no se hace nada.
Sea Xn el nivel de desperdicio, en el espacio dedicado a ello, al principio de la semana n.
(a) Es este proceso una cadena de Markov discreta?

(b) Obtenga la matriz de probabilidades de transicin para este proceso.
(c) Identifique las clases de estado del proceso e indique si existe distribucin estacionaria.
(d) Obtenga una expresin para el costo esperado semanal de esta poltica, en el largo plazo.
Solucin:
Sea Xn = cantidad de desperdicios, en el espacio dedicado a ello, al principio de la semana n.
Nn = cantidad de desperdicios que generar la fbrica durante la semana n.
As,
Xn + Nn si Xn + Nn D
Xn+1 =
0 si Xn + N n > D
Si, en el caso que Xn + Nn > D, adems se cumple que Xn + Nn > K, entonces se aplicar el procedimiento
especial para eliminar el exceso de Xn + Nn K, a un costo de A [$/m3], y luego, al final de la semana, se
aplicar el procedimiento regular, con lo cul Xn+1 = 0.
(a) Este proceso es una cadena de Markov discreta, puesto que cumple la propiedad markoviana y la
propiedad de estacionariedad. El proceso cumple la propiedad markoviana, puesto que el nmero de
desperdicios almacenados al principio de la semana n + 1 depende de todo el pasado, pero slo a travs
de lo ocurrido en n (Xn y Nn contienen la informacin anterior). Adems, cumple la propiedad de esta-
cionariedad, puesto que Pr{Xn+1 = j/Xn = i}es independiente de la etapa en que se observa el sistema,
es decir, independiente de n (debido a que los Nn son variables aleatorias independientes e idnticamente
distribudas).
Los estados posibles de la cadena de Markov van desde Xn = 0 hasta Xn = D.
(b) La matriz de probabilidades de transicin para este proceso es la siguiente:
P0,0 = Pr{Nn = 0 o Nn > D} = Pr{Nn = 0} + Pr{Nn > D}

= a(0) + Pr {Nn = D + i}
i=1

= a(0) + a(D + i)
i=1
P0,1 = Pr {Nn = 1} = a(1)
P0,2 = Pr {Nn = 2} = a(2)
...
P0,D = Pr {Nn = D} = a(D)
Anlogamente se calculan las otras probabilidades de transicin, obteniendo:

a(0)
+ i=1 a(D + i) a(1) a(2) ... a(D)
a(0) a(1) ... a(D 1)
i=1 a(D + i 1)
P =
i=1 a(D + i 2) 0 a(0) ... a(D 2)

... ... ... ... ...
1 a(0) 0 0 ... a(0)
(c) El diagrama que representa el sistema es el siguiente:
Figura 1.1:
Luego de observar la representacin grfica de la cadena de Markov, se concluye que existe una sola clase
de estado (cadena irreducible) y que es recurrente positiva aperidica.
Dado que la cadena es irreducible con todos sus estados recurrentes positivos aperidicos, existe distribu-
cin estacionaria y, adems, se sabe que j > 0 para todo estado posible j.
(d) Sea Cn el costo total asociado a la semana n. Entonces, condicionando en Xn = i, se tiene que:
D

E {Cn } = [E {Cn \Xn = i} Pr {Xn = i}]
i=0
D
Ki

= { [(B + C (i + k)) a(k)]
i=0 k=Di+1

+ [(B + C K + A (i + k K)) a(k)] i }
k=Ki+1
3. Suponga que las ventas semanales de un cierto producto pueden ser descritas como una cadena de Markov
discreta. Suponga que estas ventas varan entre 2 y 8 unidades. Las probabilidades de transicin en una etapa
son las siguientes:
0.6 0.4 0 0 0 0 0
0 1 0 0 0 0 0

0 0 0 1 0 0 0

P = 0 0 0.8 0.2 0 0 0
0 0 0 0 0.4 0.6 0

0.5 0 0.3 0 0 0 0.2
0 0.4 0 0 0.6 0 0
(a) Existe distribucin lmite? Existe distribucin estacionaria? Justifique.

(b) Suponga que las ventas semanales pueden clasificarse en Bajas (2 3), Medias (4 5) o Altas (6,7 u 8),
y suponga que durante la primera semana se vendieron 6 unidades. Cules son las probabilidades, en
el largo plazo, de que las ventas en una semana cualquiera sean Bajas, Medias o Altas?
(c) Cunto tiempo transcurre en promedio, entre dos semanas con ventas iguales a 2 unidades? Cul es
la distribucin de probabilidades de este tiempo?
Solucin:
(a) De acuerdo a la figura, podemos identificar 4 clases de estados:
Figura 1.2:
Las clases de estados de esta cadena de Markov son:

C1 = {4, 5} (recurrente positiva aperidica);
C2 = {6, 7, 8} (transiente aperidica);

C3 = {2} (transiente aperidica);
C4 = {3} (recurrente positiva aperidica).
Todas las clases son aperidicas, por lo que existe distribucin lmite.
Adems, hay dos clases recurrentes positivas aperidicas y, como las clases recurrentes son cerradas, la
distribucin lmite depende del estado inicial (por ejemplo, es distinta si X0 = 3 o si X0 = 5). Por ende,
no existe distribucin estacionaria.
(b) Las ventas semanales se clasifican en Bajas (2 3), Medias (4 5) o Altas (6, 7 u 8).
Sea Xn = ventas en el perodo n (con X0 = 6).
En el largo plazo,
Pr {V entas Bajas} = Pr {las ventas en una semana cualquiera sean Bajas}

= lim Pr {Xn = 2} + lim Pr {Xn = 3}
n n
Como el estado 2 es transiente, en el largo plazo ,Pr {Xn = 2} = 0.

Adems,
n F (6, 3) F (6, 3)
lim Pr {Xn = 3} = lim P6,3 = = = F (6, 3)
n n E {T (3, 3)} 1
Por otra parte se tiene que,
F (6, 3) = 0, 4 F (6, 3) + 0, 6 F (7, 3)

F (7, 3) = 0, 5 F (2, 3) + 0, 3 F (4, 3) + 0, 2 F (8, 3)
F (2, 3) = 0, 4 + 0, 6 F (2, 3)
F (4, 3) = 0
F (8, 3) = 0, 4 + 0, 6 F (6, 3)
Resolviendo el sistema, se tiene que:

F (6, 3) = 0.6591
es decir,
Pr {V entas Bajas} = 0.6591
Para las ventas medias se tiene que:
Pr {V entas M edias} = Pr {las ventas en una semana cualquiera sean M edias}

= lim Pr {Xn = 4} + lim Pr {Xn = 5}
n n
n n
= lim P6,4 + lim P6,5
n n
F (6, 4) F (6, 5)
= +
E {T (4, 4)} E {T (5, 5)}
Por otra parte, se tiene:
F (6, 4) = 0, 4 F (6, 4) + 0, 6 F (7, 4)

F (7, 4) = 0, 5 F (2, 4) + 0, 3 + 0, 2 F (8, 4)
F (2, 4) = 0
F (3, 4) = 0
F (8, 4) = 0, 4 F (3, 4) + 0, 6 F (6, 4)
De donde, se obtienen
F (6, 4) = 0, 341.
F (6, 5) = 0, 341
Adems,

E {T (4, 4)} = k Fk (4, 4) = 0.8 (k + 2) (0.2)k = 2.25
k=0 k=0
(en este caso podemos calcular E{T(4,4)} directamente sin aplicar el sistema de ecuaciones visto en
clases)
E {T (5, 5)} = 0.2 + 2 0.8 1 = 1.8

As,
F (6, 4) F (6, 5)
Pr {V entas Medias} = +
E {T (4, 4)} E {T (5, 5)}
= 0.341
Para las Ventas Altas, se tiene que:
Pr {V entas Altas} = Pr {las ventas en una semana cualquiera sean Altas}

= lim Pr {Xn = 6} + lim Pr {Xn = 7} + lim Pr {Xn = 8}
n n n
= 0
debido a que la clase C2 es transiente.

(c) Se pide E {T (2, 2)} .
La distribucin de probabilidades para T (2, 2) es:

1 con probabilidad 0.6
T (2, 2) =
con probabilidad 0.4
As,
E {T (2, 2)} = 1 0.6 + 0.4

=
4. Considere una cadena de Markov discreta con estados {1, 2, ..., 7}, y la siguiente matriz de probabilidades de
transicin en una etapa:
0.8 0 0 0 0 0.2 0
0 0 0 0 1 0 0

0.1 0 0.9 0 0 0 0

P = 0 0 0 0.5 0 0 0.5

0 0.3 0 0 0.7 0 0

0 0 1 0 0 0 0
0 0.5 0 0 0 0.5 0
(a) Determine las clases de estados y clasifique los estados en transientes, recurrentes nulos o positivos, y
determine si son aperidicos o peridicos (y el perodo).
(b) Existe distribucin lmite?
(c) Cul es la probabilidad de que, si el sistema parte en el estado 7, se llegue al estado 6 alguna vez? Cul
es la probabilidad de que, si el sistema parte en el estado 7, llegue alguna vez al estado 5?
(d) Suponga que el sistema parte en el estado 1. Cunto tiempo (etapas) toma, en promedio, retornar al
estado 1 por primera vez?
(e) Suponga que el sistema parte en el estado 2. Obtenga una expresin para el tiempo promedio que le
toma al sistema ingresar al estado 5 por primera vez.
(f) Tiene este sistema distribucin estacionaria? Justifique
(g) Obtenga F (6, 1)yF (6, 3)
Solucin:
(a) Con la matriz de probabilidades de transicin en una etapa, se puede graficar la cadena de Markov.
Figura 1.3:
Las clases de estados de esta cadena de Markov son:

C1 = {1, 3, 6} (recurrente positiva aperidica)
C2 = {7} (transiente aperidica)
C3 = {4} (transiente aperidica)
C4 = {2, 5} (recurrente positiva aperidica)
(b) Existe distribucin lmite, puesto que todas las clases son aperidicas.
(c) Se pide F (7, 6) y F (7, 5).
F (7, 6) = 0, 5 + 0, 5 F (2, 6)
Pero F (2, 6) = 0, con lo que F (7, 6) = 0, 5
Por otra parte,
F (7, 5) = 0, 5 F (2, 5) + 0, 5 F (6, 5)
Pero F (2, 5) = 1 y F (6, 5) = 0, con lo que F (7, 5) = 0, 5
(d) Se pide E {T (1, 1)}

E {T (1, 1)} = 1 0.8 + 2 0 + k (0.2 1 0.1) 0.9k3
k=3

= 0.8 + 0.02 k 0.9k3
k=3
= 3.2
(e) Se pide E {T (2, 5)}

Al estar en el estado 2, con probabilidad 1 el sistema pasa al estado 5 en la siguiente etapa. De este
modo, T (2, 5) = 1 siempre. Por lo tanto, E {T (2, 5)} = 1.
(f) En esta cadena de Markov, hay 2 clases recurrentes positivas aperidicas y como las clases recurrentes
son cerradas, la distribucin lmite depende del estado inicial (por ejemplo, es distinta si X0 = 3 o si
X0 = 5). Por ende, no existe distribucin estacionaria.
(g) Se pide F(6,1) y F(6,3)
F (6, 1) = 1 F (3, 1).
P ero
F (3, 1) = 0, 1 + 0, 9 F (3, 1)
con lo que
F (3, 1) = 1.
As,
F (6, 1) = 1
Por otra parte,
F (6, 3) = 1 (pues P6,3 = 1 y P6,j = 0 para j = 3).
5. Suponga que el estado del tiempo slo puede ser soleado (S) o nublado (N). Adems, suponga que el estado
del tiempo del da siguiente (maana) depende del estado del tiempo actual (hoy) y del estado del tiempo del
da anterior (ayer), de acuerdo a las siguientes probabilidades:
Ayer Hoy Maana Probabilidad

S S S 0.8
N S S 0.6
S N S 0.4
N N S 0.1
(a) Construya una cadena de Markov discreta bidimensional que modele el sistema (detalle las variables y
estados)
(b) Obtenga la matriz de probabilidades de transicin en este caso.
(c) Identifique las clases de estado del proceso e indique si existe distribucin estacionaria.
(d) Qu fraccin de los das, en el largo plazo, sern soleados?
Solucin:
(a) Es posible modelar el sistema como una cadena de Markov discreta bidimensional, donde existen dos
variables aleatorias: una que indica el estado del tiempo del da anterior y otra que indica el estado del
tiempo del da actual. Cada una de ellas puede tomar slo 2 valores: soleado (S) o nublado (N).
De este modo, el sistema posee 4 estados posibles:
i. (S,S) : cuando el estado del tiempo del da anterior es soleado y el del da actual es soleado,
(S,N) : cuando el estado del tiempo del da anterior es soleado y el del da actual es nublado,
(N,S) : cuando el estado del tiempo del da anterior es nublado y el del da actual es soleado,
(N,N) : cuando el estado del tiempo del da anterior es nublado y el del da actual es nublado.
(b) Considerando los estados {S,S ; S,N ; N,S ; N,N}, la matriz de probabilidades de transicin es:

0.8 0.2 0 0
0 0 0.4 0.6
P = 0.6 0.4 0

0
0 0 0.1 0.9
(c) La cadena de Markov posee slo una clase de estado, es decir, es irreducible. Adems, sus estados son
recurrentes positivos aperidicos.
Consecuentemente, existe distribucin estacionaria, y todos los i son positivos.
(d) Para calcular la distribucin estacionaria, se debe resolver el sistema:
=P
Resolviendo se obtiene que:
S,S = 3/11
S,N = 1/11
N,S = 1/11
N,N = 6/11
Luego, la fraccin de das soleados en el largo plazo es S,S + N,S o bien S,S + S,N .
6. Un sistema de comunicacin es utilizado para enviar mensajes de emergencia a un cierto destino. El sistema
tiene un buffer que permite almacenar hasta cuatro mensajes. Los mensajes llegan al buffer de acuerdo a un
proceso de Poisson a tasa (mensajes/unidad de tiempo). Si al llegar, un mensaje encuentra el buffer lleno,
ste se pierde, sin ingresar al sistema (Loss Systems). El sistema posee dos canales de comunicacin lo que
permite transmitir simultneamente dos mensajes.
Al principio de cada unidad de tiempo, el sistema extrae mensajes del buffer (hasta un mximo de 2) y
los transmite (siempre que el buffer contenga al menos 2 mensajes, se transmitirn 2 de ellos). El tiempo
de transmisin de un mensaje es igual a una unidad de tiempo. La transmisin de los mensajes se inicia
exactamente al principio de cada unidad de tiempo; por ello, un mensaje que llega al sistema en el transcurso
de una unidad de tiempo y que encuentra espacio en el buffer, debe esperar hasta el inicio de la siguiente
unidad de tiempo para ser transmitido.
Es posible darse cuenta que este proceso se puede modelar como una cadena de Markov discreta. Sea Xn
el nmero de mensajes en el buffer al comienzo de la n-sima unidad de tiempo, justo antes del inicio de la
transmisin.
(a) Defina una relacin de recurrencia para Xn+1 en funcin de Xn .

(b) Obtenga la matriz de probabilidades de transicin en una etapa.
(c) Es fcil demostrar que este sistema posee distribucin estacionaria. Suponga que usted conoce este
vector. Obtenga una expresin para el nmero promedio de mensajes que se pierden por unidad de
tiempo (debido a que el buffer se encuentra lleno), en el largo plazo. (Desarrolle algebraicamente la
expresin lo mximo posible).
(d) Suponga que el nmero de mensajes que se reciben en las sucesivas unidades de tiempo son v.a.i.i.d. con
una distribucin cualquiera, no necesariamente Poisson. Es todava posible modelar el proceso como
una cadena de Markov? Justifique.
Solucin:
Sean
Xn = nmero de mensajes en el buffer al comienzo de la n-sima unidad de tiempo, justo antes del inicio
de la transmisin
Nn = nmero de mensajes que llegan al buffer durante la n-sima unidad de tiempo.
(a) La relacin de recurrencia es:
Xn+1 = M in[Xn + Nn M in{Xn , 2}, 4]

o bien,
Xn+1 = Max[Xn 2, 0] + Min[Nn , 4 Max{Xn 2, 0}]
o bien,
Xn+1 = M ax[Xn 2, 0] + M in[Nn , M in{4 Xn + 2, 4}]
El conjunto de estados posibles es {0, 1, 2, 3, 4}
(Claramente se ve que el proceso cumple con la propiedad markoviana y de estacionariedad).
(b) Las probabilidades de transicin en una etapa para este proceso son las siguientes
j e
Pij = Pr {Nn = j} = , i = 0, 1, 2; j = 0, 1, 2, 3
j!

k+4 e
Pi4 = Pr {Nn 4} = , i = 0, 1, 2
(k + 4)!
k=0

k+6i e
Pi4 = Pr {Nn 4 i + 2} = , i = 3, 4
(k + 6 i)!
k=0
j1+2
e i = 3; j = 1, 2, 3
Pij = Pr {Nn = j i + 2} = ,
(j i + 2)! i = 4; j = 2, 3
P30 = P40 = P41 = 0
Finalmente, la matriz de transicin en una etapa es:

2 e 3 e k+4 e
e e 2! 3! (k+4)!
k=0

2 e 3 e k+4 e
e e 2! 3! (k+4)!
k=0

2 e 3 e k+4 e
P = e e
2! 3! (k+4)!
k=0

0 e e 2 e k+3 e
2! (k+3)!
k=0

k+2 e
0 0 e e (k+2)!
k=0
(c) Se pide lim E[N o mensajes perdidos]

n
E[N o mensajes perdidos] = E[Max{Xn + Nn M ax{Xn 2, 0} 4, 0}]
En el largo plazo:
4

o
E [N mensajes perdidos] = E[N o mensajes perdidos \ Xn = i] i
i=0
4

= i [Pr {Nn = k} M ax(0, i + k + M ax(i 2, 0) 4)]
i=0 k=0

= 0 [Pr {Nn = k} (k 4)] + 1 [Pr {Nn = k} (k 3)]
k=5 k=4
4

+ i [Pr {Nn = k} (k 2)]
i=2 k=2
4 4

= 0 k Pr {Nn = k} 4 + 4 Pr {Nn = k}
k=0 k=0
3 3

+ 1 k Pr {Nn = k} 3 + 3 Pr {Nn = k}
k=0 k=0
1 1

+ ( 2 + 3 + 4 ) k Pr(Nn = k) 2 + 2 Pr(Nn = k)
k=0 k=0
(d) S, debido a que se sigue cumpliendo la propiedad markoviana y de estacionariedad.

Por una parte, el nmero de mensajes en el buffer al comienzo de la (n+1)-sima unidad de tiempo
(Xn+1 ) sigue slo dependiendo del nmero de mensajes en el buffer al comienzo de la n-sima unidad de
tiempo (Xn ) y del nmero de mensajes que llegan al buffer durante la n-sima unidad de tiempo (Nn ),
sin importar la distribucin de Nn . (Xn+1 depende de Xj ,con j < n, slo a travs del valor de Xn ). Lo
anterior equivale a decir que se sigue cumpliendo con la propiedad markoviana.
Adems, Xn+1 es independiente de la unidad de tiempo (n), si Nn lo es.Tambin se sabe que el nmero
de mensajes que llegan al buffer durante la n-sima unidad de tiempo (Nn ), son v.a.i.i.d. , es decir, son
independientes entre s, por lo que Nn es independiente de la unidad de tiempo n.
Lo anterior equivale a decir que se sigue cumpliendo con la propiedad de estacionariedad.
7. Considere una empresa automovilstica que se dedica a arrendar autos para viajes desde la ciudad de Santiago
a Via del Mar y viceversa. Suponga que la empresa dispone de N=3 autos en total. Las funciones de
probabilidad de la demanda por autos, en un da cualquiera, en Santiago y en Via del Mar aparecen en la
siguiente tabla:
Cantidad Demandada: 0 1 2 3 4 5
Santiago 0.1 0.2 0.5 0.1 0.05 0.05
Via 0.3 0.5 0.1 0.1 0 0
Las demandas en Santiago y en Via son v.a. independientes entre s, y lo mismo respecto a la demanda en
das sucesivos.
Los autos arrendados viajan a la otra ciudad durante el mismo da, de modo de estar disponibles en esa ciudad
al final de ese da. Asuma, adems, que la demanda que no puede ser satisfecha, se pierde.
Sea Xn el nmero de autos en Santiago al comienzo del da n.
(a) Obtenga la matriz de probabilidades de transicin en una etapa para este proceso.
(b) Suponga que X1 = 2 (asuma que el horizonte de tiempo comienza en el da 1). Obtenga el valor esperado
de la demanda insatisfecha por la empresa durante el primer da. (Indicacin: note que la demanda
insatisfecha de la empresa es la demanda insatisfecha en Santiago ms la demanda insatisfecha en Via).
(c) Suponga que la empresa decide usar la siguiente poltica, que involucra el traslado de autos durante la
noche: si al final del da, cualquiera de las dos ciudades se queda sin autos, se traslada un auto desde la
otra ciudad.
i. Obtenga la matriz de probabilidades de transicin en una etapa asociada a esta poltica.
ii. Es fcil demostrar que este proceso tiene distribucin estacionaria. Suponga que usted ha obtenido
el vector de este proceso. Encuentre una expresin para el nmero promedio de traslados (durante
la noche), efectuados por la empresa en un da cualquiera, en el largo plazo.
Solucin:
(a) Sea Xn es el nmero de autos en Santiago al comienzo del da n. Entonces:
Xn+1 = M ax [Xn ds, 0] + M in [dv, N Xn ]
En que, ds : cantidad de autos demandada en Santiago

dv :cantidad de autos demandada en Via
As,
P00 = Pr{dv = 0} = 0.3
P01 = Pr{dv = 1} = 0.5
P02 = Pr{dv = 2} = 0.1
P03 = Pr{dv 3} = 0.1
P10 = Pr{ds 1 y dv = 0} = Pr{ds 1} P {dv = 0} = 0.9 0.3 = 0.27
P11 = Pr{ds = 0 y dv = 0} + Pr{ds 1 y dv = 1} = 0.1 0.3 + 0.9 0.5 = 0.48
P12 = Pr{ds = 0 y dv = 1} + Pr{ds 1 y dv 2} = 0.1 0.5 + 0.9 0.2 = 0.23
P13 = Pr{ds = 0 y dv 2} = 0.1 0.2 = 0.02
P20 = Pr{ds 2 y dv = 0} = 0.7 0.3 = 0.21
P21 = Pr{ds = 1 y dv = 0} + Pr{ds 2 y dv 1} = 0.2 0.3 + 0.7 0.7 = 0.55
P22 = P {ds = 0 y dv = 0} + P {ds = 1 y dv 1} = 0.1 0.3 + 0.2 0.7 = 0.17
P23 = P {ds = 0 y dv 1} = 0.1 0.7 = 0.07
P30 = P {ds 3} = 0.2
P31 = P {ds = 2} = 0.5
P32 = P {ds = 1} = 0.2
P33 = P {ds = 0} = 0.1
Por lo tanto,
0.3 0.5 0.1 0.1
0.27 0.48 0.23 0.02
P = 0.21 0.55 0.17 0.07

0.2 0.5 0.2 0.1

(b) Si X1 = 2, entonces:
E {demanda insatisf echa durante el primer da}
= E {dda. insatisf echa en Stgo. durante el primer da}
+E {dda. insatisf echa en V i na durante el primer da}
= E {Max [ds X1 , 0]} + E {M ax [0, dv (N X1 )]}
= E {Max [ds 2, 0]} + E {Max [0, dv 1]}
= (1 Pr{ds = 3} + 2 Pr{ds = 4} + 3 Pr{ds = 5}) + (1 Pr{dv = 2} + 2 Pr{dv = 3})
= (1 0.1 + 2 0.05 + 3 0.05) + (1 0.1 + 2 0.1)
= 0.65
Por lo tanto, el valor esperado de la demanda insatisfecha durante el primer da es igual a 0.65 autos.
(c) i. En este caso, slo son posibles los estados Xn = 1 y Xn = 2, puesto que Xn es el nmero de autos
en Santiago al comienzo del da n, es decir, despus de los traslados. De esta forma:
P11 = P {ds = 0 y dv = 0} + P {ds 1 y dv 1} = 0.1 0.3 + 0.9 0.8 = 0.75
P12 = P {ds = 0 y dv 1} + P {ds 1 y dv 2} = 0.1 0.7 + 0.9 0.2 = 0.25
P21 = P {ds = 1 y dv = 0} + P {ds 2} = 0.2 0.3 + 0.7 = 0.76
P22 = P {ds = 0} + P {ds = 1 y dv 1} = 0.1 + 0.2 0.7 = 0.24
As, la matriz de probabilidades de transicin en una etapa asociada a esta poltica es:

0.75 0.25
P =
0.76 0.24
ii. En el largo plazo, en un da cualquiera, se tiene que:

E {T raslados} = E {T raslados \ Xn = i} Pr {Xn = i}
i
= 1 (Pr{trasladar auto v s \ Xn = 1} + Pr{trasladar auto s v \ Xn = 1})
+2 (Pr{trasladar auto v s \ Xn = 2} + Pr{trasladar auto s v \ Xn = 2})
= 1 (Pr{ds 1 y dv = 0} + Pr{ds = 0 y dv 2})
+2 (Pr{ds 2 y dv = 0} + Pr{ds = 0 y dv 1})
= 1 (0.9 0.3 + 0.1 0.2) + 2 (0.7 0.3 + 0.1 0.7)
= 1 0.29 + 2 0.28
Por lo tanto, el valor esperado de los trasaldos en el alrgo plazo es 1 0.29 + 2 0.28
8. Un sistema productivo puede modelarse como una cadena de Markov discreta, con siete posibles estados: A,
B, C, D, E, F, G, con la siguiente matriz de probabilidades de transicin en una etapa:

2/3 1/3 0 0 0 0 0
1/2 1/2 0 0 0 0 0

1/3 0 1/6 1/6 1/6 1/6 0

P =1/6 1/6 1/6 0 1/4 1/4 0

0 0 0 0 0 3/4 1/4

0 0 0 0 1 0 0
0 0 0 0 1 0 0
(a) Determine las clases de estados y clasifique los estados en transientes, recurrentes nulos o positivos, y
determine si son aperidicos o peridicos (y el perodo).
(b) Calcule la probabilidad de que el sistema evolucione, por primera vez, desde el estado C al estado G en
3 etapas (perodos).
(c) Cul es la probabilidad de que el sistema, si se encuentra inicialmente en el estado C, evolucione alguna
vez al estado A?
(d) Existe distribucin estacionaria para la cadena de Markov descrita? Justifique.
(e) Suponga que el estado inicial del sistema es C (X0 = C), encuentre la probabilidad de que, despus de
n
mucho tiempo, el sistema se encuentre en el estado j (limn PCj ), para todo j. (En caso de que el
lmite no exista, explique porqu).
(f) Encuentre el tiempo medio entre retornos al estado B.
Solucin:
(a) Como se aprecia en la figura, existen tres clases de estados:
C1 = {A, B},recurrente positivo aperidico
C2 = {C, D},transiente aperidico
C3 = {E, F, G},recurrentes positivos peridicos, de perodo 2.
Figura 1.4:
(b) Se pide F3 (C, G)

Sabemos que F 3(C, G) = PCm F2 (m, G); es decir,
m=G
F3 (C, G) = PCA F2 (A, G) + PCB F2 (B, G) + PCC F2 (C, G)
+PCD F2 (D, G) + PCE F2 (E, G) + PCF F2 (F, G)
= PCC PCE PEG + PCD PDE PEG + PCF PF E PEG
= 1/6 1/6 1/4 + 1/6 1/4 1/4 + 1/6 1 1/4
= 17/288
Por lo tanto, F3 (C, G) = 17/288

(c) Se pide F (C, A) = PCA + PCr F (r, A)
r=A
Se tiene que:
F (C, A) = PCA + PCB F (B, A) + PCC F (C, A) + PCD F (D, A) + PCE F (E, A)
+PCF F (F, A) + PCG F (G, A)
= 1/3 + 1/6 F (C, A) + 1/6 F (D, A) ()
Por otra parte,
F (D, A) = PDA + PDB F (B, A) + PDC F (C, A) + PDD F (D, A) + PDE F (E, A)
+PDF F (F, A) + PDG F (G, A)
= 1/6 + 1/6 + 1/6 F (C, A) ()
Resolviendo el sistema formado por la ecuaciones (*) y (**), se tiene que,
F (C, A) = 14/29 y
F (D, A) = 12/29
(d) Hay dos clases recurrentes, por lo que, dado que las clases recurrentes son cerradas, no existe distribucin
estacionaria (es decir, la probabilidad de estar, en el largo plazo, en una u otra clase depende del estado
inicial).
n
(e) Se pide limn PCj , para todo j.
Los lmites para j = A y B equivalen a la probabilidad de estar, en el largo plazo, en los estados A y B,
respectivamente.
Dado que estos dos estados pertenecen a una misma clase recurrente positiva aperidica (sabemos que
stas son cerradas), empleando probabilidad total tenemos:
Pr{estar, en el l arg o plazo, en el estado A}
= Pr{estar en A \ se llega (a lg una vez) a clase C1 } Pr{llegar a C1}

+ Pr{estar en A \ no se llega nunca C1 } Pr{no llegar a C1}
Es decir,
n
limn PCA = A F (C, A) + 0 (1 F (C, A)) = A F (C, A)
donde corresponde a la distribucin estacionaria de la sub-cadena de Markov que conforman los estados
A y B, la que es irreducible, recurrente positiva aperidica. Sabemos que es la solucin del sistema:

2/3 1/3
A B = A B
1/2 1/2
Resolviendo, se obtiene:
A 3/5
=
B 2/5
Por otra parte, sabemos que F (C, A) = 14/29. En consecuencia,
n
lim PCA = 3/5 14/29 = 24/145
n
n
lim PCB = 2/5 14/29 = 28/145
n
Por otra parte,

n
lim PCC = 0
n
n
lim PCD = 0
n
pues C y D son estados transientes.

n n n
Finalmente, los limites limn PCE , limn PCF , limn PCG no existen (no convergen) porque E, F
y G son estados peridicos.
(f) Se pide E {T (B, B)}.
En la sub-cadena de Markov que forman los estados A y B, se cumple que
1
B =
E {T (B, B)}
Por lo tanto, E {T (B, B)} = 5/2 = 2.5
9. Suponga que en la ciudad de Cancn el clima de un da cualquiera puede ser clasificado de despejado, nublado
o lloviendo. Suponga que el clima del dia siguiente depende del clima actual de la siguinete manera: si hoy
est despejado, maana estar nublado con una probabilidad de 0.3 y lloviendo con 0.2; si hoy est nublado,
maana estar despejado con una probabilidad de 0.5 y lloviendo con probabilidad 0.3; finalmente, si est
lloviendo hoy da, maana estar despejado con probabilidad 0.4 y nublado con 0.5.
Suponga ahora que el seor y la seora Prez han planeado celebrar sus 25 aos de matrimonio en Cancn.
Si se cuenta el da de hoy como el primer da, ellos estarn en Cancn el sptimo y octavo da. Ellos estn
pensando contratar un seguro de vacaciones que promete devolverles el costo total de su estada, que es de
US$2.500 si llueve los dos das, y que no les devuelve nada en caso contrario. El costo del seguro es de US$200.
Analice si le conviene al matrimonio Prez contratar el seguro, asuma que hoy est despejado en Cancn.
Solucin:
Hay que analizar el valor esperado de lo que pueda devolver el seguro y compararlo con el costo que ste tiene.
El seguro slo devolver dinero en caso de que el sptimo y el octavo da estn lloviendo, luego
E(devoluci
on seguro) = 2500 Pr {das 7 y 8 est
en lloviendo}
Dependiendo de este valor convendr contratar el seguro, ya que si ste es mayor que 200 quiere decir que la
devolucin esperada ser mayor a su costo por lo que el beneficio ser positivo. Por lo que hay que determinar
la probabilidad de que llueva los das 7 y 8.
La matriz de probabilidades de transicin viene dada por
S C R
S 0.5 0.3 0.2
P =
C 0.5 0.2 0.3
R 0.4 0.5 0.1
y se sabe que hoyda est despejado, es decir, f 1 = (1, 0, 0).

Adems, sabemos que f i = P T f i1 , luego,
f 7 = (P T )6 f 1
donde
Pr {Xi = S}
f i = Pr {Xi = C}
Pr {Xi = R}
evaluando P 6 , se tiene que:

0.478 99 0.478 96 0.479 03 1 0.478 99
f 7 = 0.310 92 0.311 02 0.310 78 0 = 0.310 92
0.210 09 0.210 02 0.210 18 0 0.210 09
Luego, la probabilidad de que el 7o da est lloviendo es 0.47903. Entonces,
Pr {7o y 8o da lloviendo} = Pr {7o da est

e lloviendo y 8o da lloviendo}
= Pr {7o da est
e lloviendo} Pr {8o da est
e lloviendo |7o da llovi
o}
= 0.21009 0.1
= 0.021009
Luego, la devolucin esperada del seguro es de
E(devoluci
on seguro) = 2500 0.021009
= 52.523
Entonces, dado que el seguro cuesta 200 dlares y se esperan recibir slo 52.523 dlares no es conveniente
comprar el seguro.
10. La empresa T-A se dedica a fabricar switches de comunicacin para redes de comunicacin digital. Estas
redes mueven paquetes de datos de un switch a otro a velocidades cercanas a la velocidad de la luz. Los
paquetes de datos son de largo constante, es decir, tienen igual nmero de bits. Conceptualmente, cada switch
corresponde a un mecanismo de almacenamiento, en que los paquetes de datos llegan de un modo aleatorio;
stos son almacenados en un buffer de capacidad K, y son removidos de a uno, para ser transmitidos de
acuerdo a un protocolo especfico. De acuerdo a este protocolo, el tiempo se divide en intervalos de largo
fijo, por ejemplo un microsegundo. Si existe un paquete de datos en el buffer al principio de uno de estos
intervalos de tiempo, ste es removido instantneamente del buffer, y transmitido a travs de la red. Si no hay
un paquete al principio del intervalo del tiempo, no se remueve ningn paquete, an cuando lleguen nuevos
paquetes durante ese intervalo. Si llegan paquetes durante un intervalo de tiempo y no hay espacio disponible
en el buffer, ese paquete se descarta.
Sea An el nmero de paquetes que llega al switch durante el intervalo de tiempo nmero n, suponga que
{An , n > 1} es una secuencia de v.a.i.i.d, tal que:
Pr {An = k} = ak , k 0
Sea Xn el nmero de paquetes en el buffer al final del intervalo de tiempo nmero n. Encuentre una recursin
para Xn+1 en funcin de Xn , An+1 , K. Encuentre la matriz P.
Solucin:
Los valores posibles de Xn son 0,1,2,3,...K.
Si existen Xn paquetes en el buffer al principio del intervalo n+1, se enviar un paquete si es que Xn > 0 y
llegarn An paquetes ms por lo que la formula de recurrencia es:

Min(Xn 1 + An+1 , K) si Xn > 0
Xn+1 =
Min(An+1 , K) si Xn = 0
Para calcular la matriz P, se deben calcular las probabilidades de transicin Pi,j , luego,
P0,0 = Pr {que no lleguen paquetes |que no haban paquetes }
P0,0 = Pr {An = k} = a0
P0,1 = a1
P0,2 = a2
...
P0,K = Pr {que lleguen K o m
as paquetes} = aK + aK+1 + ... = bK
P1,0 = Pr {que no lleguen paquetes |que haba 1 paquete }
P1,0 = a0
P1,1 = a1
P1,2 = a2
...
P1,K = Pr {que lleguen K o m
as paquetes} = aK + aK+1 + ... = bK
P2,0 = 0
P2,1 = a0
P2,2 = a1
...
P2,K = Pr {que lleguen K 1 o m
as paquetes} = aK1 + aK + ... = bK1
As, se obtiene que:
a0 a1 a2 ... aK1 bK
a0 a1 a2 ... aK1 bK

P =
0 a0 a1 ... aK2 bK1

...
0 0 ... a0 b1
11. Una empresa de transporte debe contratar un seguro para su flota de vehculos. Existen 4 posibles seguros
con valores v1 > v2 > v3 > v4 . El valor del seguro se paga al principio del ao y depende del tipo de seguro
contratado el ao anterior y de los accidentes cobrados, a la compaa de seguros, durante ese ao. Si durante
el ao pasado, el seguro contratado cost vi y no se cobraron daos, el seguro este ao costar vi+1 ; en caso
contrario ( es decir, si se cobraron daos), el seguro costar v1 . Si el ao anterior el seguro cost v4 y no hubo
daos cobrados, el seguro este ao tambin costar v4 .
La empresa de transporte debe decidir, al final del ao, si cobrar o no los daos acumulados por sus vehculos
durante el ao. Si la empresa decide cobrar los daos, la compaa se hace cargo de stos. El dao total de la
flota durante un ao cualquiera es una v.a. con distribucin F y densidad f. La empresa utiliza la siguiente
poltica: si el seguro contratado vale vi , entonces se cobran los daos al final del ao si stos son mayores que
ai (estos valores son parmetros de la poltica). Sea Xn el tipo de seguro contratado durante el ao n.
(a) Obtenga la matriz P de este proceso.

(b) Suponga que el dao total, en pesos, que sufre la flota durante un ao cualquiera tiene distribucin
exponencial de parmetro . Se desea determinar la poltica ptima de contratacin de este seguro en
un horizonte de largo plazo, de modo de minimizar el costo esperado anual. Encuentre la expresin que
sera necesario optimizar y explique cmo obtendra la solucin ptima.
Solucin:
(a) Los valores posibles de Xn son 1,2,3,4 donde el estado i corresponde a que en el ao n se contrat el
seguro vi .
Sea Dn el dao total de la flota durante el ao n. Esta es una v.a.i.i.d de distribucin F independiente
de n.
Entonces se tiene que si se contrata el seguro v1 en el ao n se contratar el mismo seguro en el ao
n+1 si los daos son mayores que el parmetro a1 y se contratar v2 si los daos son menores a este
parmetro, es decir:
P1,1 = Pr {Dn > a1 } = 1 F (a1 )

P1,2 = Pr {Dn < a1 } = F (a1 )
Cabe mencionar que no existe posibilidad de que el prximo ao se contraten los seguros v3 o v4 , es
decir,
P1,3 = 0
P1,4 = 0
As, se puede obtener la matriz de transicin P, que es igual a:

1 F (a1 ) F (a1 ) 0 0
1 F (a2 ) 0 F (a2 ) 0
P = 1 F (a3 )

0 0 F (a3 )
1 F (a4 ) 0 0 F (a4 )
(b) Para obtener la expresin a minimizar hay que determinar como se producen los costos para la empresa.
En primer lugar existe un costo asociado a la contratacin del seguro. En el largo plazo se tiene que i
es la proporcin del tiempo que se est en el estado i que corresponde a la contratacin del seguro vi .
Luego, el costo asociado a la contratacin del seguro en el largo plazo es:
4

C= i vi
i=1
Por otra parte, se tiene que el costo que debe asumir la empresa debido a su poltica para cobrar el
seguro. Por ejemplo, si se tiene contratado el seguro v2 y los daos acumulados por la flota suman menos
que a2 , la empresa tendr un costo igual a los daos acumulados. En el caso de que los daos sumen
ms que a2 la empresa ejercer el seguro y no tendr ningn costo. Entonces se debe determinar el valor
esperado de este segundo costo.
Para el caso de que se tenga contratado v1 , el costo(D) vendr dado por:

Dn si Dn < a1
D | v1 =
0 si Dn > a1
Luego,
x=a
1
E(D | v1 ) = x ex dx
x=0
4

E(D) = E(D | vi ) Pr {Xn = vi }
i=1
As, en el largo plazo se tiene que:

4

E(D) = E(D | vi ) i
i=1
POr lo tanto el costo total a minimizar es
Costo = C + D
4 4

= vi i + E(D | vi ) i
i=1 i=1
4
= (vi + E(D | vi )) i
i=1
Analizando la expresin se tiene que:
vi : son conocidos
E(D | vi ) : es una f unci
on de ai
i : f unci
on de ai (ya que dependen de P )
Luego, se tiene una funcin en funcin de ai que es necesario minimizar por mtodos de optimizacin
No-Lineal.
12. Una empresa desea decidir el tamao de su aviso de publicidad en la edicin dominical del diario El Mercurio.
Hay 2 alternativas: un aviso pequeo, que cuesta $100.000 y un aviso grande, que cuesta $300.000. Las ventas
semanales de la empresa pueden clasificarse en 3 categoras: altas, normales y bajas. El retorno neto promedio
en cada caso (sin considerar los costos de publicidad) es de: $1.000.000, $800.000, $650.000 respectivamente.
Se sabe que las ventas de una semana dependen de las ventas de la semana anterior y del tamao del aviso,
en funcin de las siguientes probablidades:
Aviso Pequeo Aviso Grande

Semana Actual Semana Actual
Semana Pasada A N B A N B
A 0.2 0.5 0.3 0.6 0.3 0.1
N 0.1 0.3 0.6 0.2 0.7 0.1
B 0.1 0.5 0.4 0.4 0.5 0.1
Suponga que en la primera semana las ventas fueron bajas y que la empresa public un aviso grande. La
empresa ha decidido utilizar la siguiente poltica para las prximas 3 semanas: si la venta durante la semana
pasada fue baja, publicar un aviso grande; en caso contrario, publicar un aviso pequeo. Calcule el beneficio
neto esperado asociado a esta poltica.
Solucin:
La matriz P asociada a la poltica es la siguiente:

0.2 0.5 0.3
P = 0.1 0.3 0.6
0.4 0.5 0.1
Se sabe que en la primera semana se tuvieron ventas bajas por lo que

0
f 1 = 0
1
As, utilizando que f i = P T f i1 se tiene que:

0.4 0.17 0.246 0.2248
f 2 = 0.5 f 2 = 0.4 f 3 = 0.42 f 4 = 0.416
0.1 0.43 0.334 0.3592
Sea B el vector de beneficios y C el vector de costos, es decir,

1.000.000 100.000
B = 800.000 y C = 100.000
650.000 300.000
El beneficio esperado para la prxima semana es el valor esperado de los ingresos menos los costos asociados
a la publicacin del aviso:
E(B2 ) = BT f 2 C f 1
= 0.4 1.000.000 + 0.5 800.000 + 0.1 650.000 300.000
= 400.000 + 400.000 + 65.000 300.000
= 565.000
Para la semana no 3 se tiene que:
E(B3 ) = 0.17 1.000.000 + 0.4 850.000 + 0.43 650.000 0.4 100.000 0.5 100.000 0.1 300.000
= 649.500
Para la semana no 4 se tiene que:

E(B4 ) = 613.100
Luego, el beneficio total es

B = 1.827.600
13. Considere el problema de almacenar registros de informacin en pistas de un disco de acceso directo. Suponga
que las pistas son de largo 1 y que los tamaos de los registros son v.a.i.i.d. y se denominan Ri ; i = 1, 2, 3, ....
Los valores posibles de estas v.a. son 1/2 y 2/3 con probabilidad 0.35 y 0.65 respectivamente. Se desea
estudiar el proceso {Xn ; n = 1, 2, ...}, en que Xn corresponde al espacio ocupado en la ltima pista utilizada
despus del almacenamiento del registro nmero n.
(a) Encuentre los valores posibles de Xn y la matriz P para este proceso.

(b) Defina un procedimiento para encontrar el valor esperado del nmero de pistas que se utilizan para
guardar N registros.
(c) Encuentre la utilizacin media de las pistas en el largo plazo.
Solucin:
(a) Cuando se almacena un registro en una pista, sta debe tener espacio disponible para guardar dicho
registro. Si el nuevo registro no cabe en la ltima pista utilizada, se debe guardar en una nueva pista.
Es por esto que los valores posibles para Xn son: 1/2, 2/3 y 1. El ltimo valor ocurre cuando llegan dos
registro de largo 1/2 seguidos.
La matriz P asociada a este proceso es:

0 0.65 0.35
P = 0.35 0.65 0
0.35 0.65 0
(b) Sea M(n) el nmero de pistas utilizadas que se han ocupado para guardar los primeros n registros.
Sea
1 si al guardar el registro n + 1 se utilizar
a una nueva pista
C(Xn ) =
0 en caso contrario
Luego,
N1

M(N ) = 1 + C(Xn )
n=2
Aplicando E(), se tiene que:

N1

E(M (N )) = 1 + E(C(Xn ))
n=2
Por lo que el objetivo es encontrar E(C(Xn )).

E(C(Xn )) = E(C(Xn ) |Xn = i ) Pr {Xn = i}
i
Si Xn = 1/2, si Rn+1 = 1/2 C(Xn ) = 0

si Rn+1 = 2/3 C(Xn ) = 1
Luego,
E(C(Xn ) |Xn = 1/2 ) = 1 Pr {Rn+1 = 2/3} = 0.65
Si Xn = 2/3, si Rn+1 = 1/2 C(Xn ) = 1
si Rn+1 = 2/3 C(Xn ) = 1
Luego,
E(C(Xn ) |Xn = 2/3 ) = 1
Si Xn = 1, C(Xn ) = 1, en todos los casos
Luego,
E(C(Xn ) |Xn = 1 ) = 1
Por lo tanto:
E(C(Xn )) = 0.65 Pr {Xn = 1/2} + 1 Pr {Xn = 2/3} + 1 Pr {Xn = 1}

(n) (n) (n)
= 0.65 f1/2 + 1 f2/3 + 1 f1
Ahora slo queda calcular las probabilidades Pr {Xn = i} , que se calculan utilizando f (n) = (P n1 )T f (1)

0.35
f (1) = 0.65
0
(c) Sea n una etapa cualquiera en el largo plazo, la utilizacin media de la pista utilizada en la etapa n ser:

U tilizaci
on media = (Utilizacion media |Xn = i ) Pr {Xn = i}
i
U tilizacion media |Xn = 1/2 = 1/2 0.65 + 1 0.35
U tilizacion media |Xn = 2/3 = 2/3
U tilizaci
on media |Xn = 1 = 1
En el largo plazo, la probabilidad Pr {Xn = i} corresponde a i ,que se calcula de acuerdo a las siguientes
ecuaciones:
= PT

y i = 1
Resolviendo el sistema se tiene que:

0.259
= 0.65
0.091
Finalmente, la utilizacin media es:
Utilizaci
on media = 0.702
14. Una mquina de un proceso productivo puede estar en dos estados posibles al principio de cada da: buena
o fallada. Si est buena al principio de un da, estar buena al principio del da siguiente con probabilidad
0.98, independientemente de la historia pasada de la mquina; y estar fallada con probabilidad 0.02. Cuando
la mquina falla, viene un tcnico a repararla; si la mquina est mala al principio del da, estar mala al
principio del da siguiente con probabilidad 0.03, independiente de la historia de la mquina, o bien el tcnico
termina la reparacin y la mquina queda funcionando, con probabilidad 0.97. Una mquina reparada est
tan buena como nueva.
(a) Sea Xn el estado de la mquina al principio del da n; encuentre la matriz P asociada a este proceso.
(b) Suponga ahora que existen 3 mquinas del mismo tipo de la descrita ms arriba. Sea Yn el nmero de
mquinas funcionando en el da n; encuentre la matriz P para este proceso.
Solucin:
(a) Los valores posibles para Xn son 2: la mquina est buena (B), la mquina est mala (M). Las proba-
bilidades de transicin son:
Pr {Xn = B |Xn1 = B } = 0.98
Pr {Xn = M |Xn1 = B } = 0.02
Pr {Xn = B |Xn1 = M } = 0.97
Pr {Xn = M |Xn1 = M } = 0.03
(b) Los valores posibles para Yn son: 0,1,2,3. Luego, las probabilidades de transicin son:
P0,0 = Pr {todas siguen malas |todas est an malas } = 0.033
P0,1 = Pr {s
olo una se arregla |todas estan malas } = 3 0.032 0.97
P0,2 = Pr {s
olo dos se arreglan |todas estan malas } = 3 0.03 0.972
P0,3 = Pr {todas se arreglan |todas estan malas } = 0.973
P1,0 = Pr {f alla la buena y las otras 2 siguen malas |2 est an malas } = 0.02 0.032 0
P1,1 = Pr {2 siguen malas y la buena sigue buena |2 est an malas }
+ Pr {una de las 2 sigue mala y la buena f alla |2 estan malas }
= 0.032 0.98 + 2 0.97 0.03 0.02 0.002

P1,2 = Pr {1 sigue mala y la buena sigue buena |2 est an malas }
+ Pr {2 malas se arreglan y la buena f alla |2 est an malas }
= 2 0.03 0.97 0.98 + 0.972 0.02 0.076
P1,3 = Pr {las dos malas se arreglan y la buena sigue buena |2 est an malas } = 0.972 0.98 0.922
P2,0 = Pr {f allan las 2 buenas y la otra sigue mala |1 est a mala } = 0.022 0.03 0
P2,1 = Pr {la mala sigue mala y una buena falla |1 est a mala }
+ Pr {las 2 buenas fallan y la mala se arregla |1 est a mala }
2
= 2 0.03 0.02 0.98 + 0.02 0.97 0.0014
P2,2 = Pr {2 siguen buenas y la mala sigue mala |1 est a mala }
+ Pr {la mala se arregla y una buena f alla |1 est a mala }
= 0.982 0.03 + 2 0.97 0.02 0.98 0.067
P2,3 = Pr {la mala se arregla y las 2 buenas siguen buenas |1 est a mala } = 0.97 0.982 0.9316
3 6
P3,0 = Pr {f allan todas |todas est an buenas } = 0.02 = 8.0 10 0
P3,1 = Pr {fallan dos |todas est an buenas } = 3 0.022 0.98 0.002
P3,2 = Pr {fallan una |todas est an buenas } = 3 0.02 0.982 0.057
P3,3 = Pr {no falla ninguna |todas est an buenas } = 0.983 0.941
15. El siguiente procedimiento de seleccin es utilizado para escoger entre dos marcas, A y B, de tubos fluo-
rescentes: suponga que la duracin de los tubos tipo A es exponencial de parmetro y la de los tipo B
exponencial de parmetro . Se encienden simultneamente un tubo de cada marca, y el experimento termina
cuando uno de los dos tubos falla. La marca A gana un punto si el tubo de esa marca dura ms que el tubo
B, y vice-versa. El experimento se repite con nuevos tubos hasta que alguna de las dos marcas ha acumulado
5 puntos ms que la otra; esa marca es la seleccionada. Sea Xn el nmero de puntos de la marca A menos el
nmero de puntos de la marca B despus de n experimentos. Encuentre la matriz P. Defina un procedimiento
para encontrar el valor esperado del nmero de tubos que se requerir para realizar el experimento.
Solucin:
Sea Xn el nmero de puntos de la marca A menos el nmero de puntos de la marca B despus de n experi-
mentos. Los valores posibles de Xn son: -5,-4,-3,-2,-1,0,1,2,3,4,5
La formula de recurrencia es:

Xn 1 si gana la marca B
Xn+1 =
Xn + 1 si gana la marca A
Dado que la duracin de ambos tubos es exponencial, la probabilidad de que una sea mayor que la otra est
en la proporcin entre sus parmetros de distribucin, es decir:

Pr {A < B} =
+

Pr {A > B} =
+
Luego,

Pi,i1 =
+

Pi,i+1 =
+
Pi,j = 0 j = i 1 e i + 1
Sea N el nmero de tubos fluorescentes que se utilizarn en el experimento.

Sea T(i,j) el nmero de etapas que se requiere para que se alcance el estado j por primera vez partiendo desde
i. As,
N = T (0, 5) Pr {gana A} + T (0, 5) Pr {gana B}
Luego:

E [N ] = E [T (0, 5)] + E [T (0, 5)]
+ +
16. Considere una lnea de produccin que consiste en N mquinas en serie. El tiempo de proceso de la mquina
i es constante y vale
Ti . Sea
T el tiempo de ciclo de la lnea, esto es, el tiempo que demora un producto

en salir terminado T = Ti . La materia prima requerida para producir este producto est disponible en
i
cantidades ilimitadas y es utilizada como input de la mquina 1. Las N mquinas son operadas por un solo
operario, de modo que l slo puede dedicarse a un proceso a la vez (el operario se va desplazando de una
mquina a la otra a medida que el producto avanza por la lnea).
Al comienzo de cada ciclo se analiza el estado de cada mquina, la que se puede encontrar buena o fallada. Si
al comienzo de un ciclo existen una o ms mquinas falladas, ese ciclo se pierde y esas T unidades de tiempo se
utilizan en reparar las mquinas falladas. La probabilidad que la mquina i se encuentre fallada al comienzo
de un ciclo es pi , i=1,2,...N independientemente de si el ciclo anterior estuvo funcionando o en reparacin.
Asuma que si al comienzo de un ciclo una mquina est funcionando, sta no fallar durante el ciclo. Para
aumentar la productividad de la lnea de produccin se desea estudiar la posibilidad de instalar una unidad de
almacenamiento intermedio (buffer) de capacidad M entre 2 mquinas de la lnea. Supongamos que el buffer
se ubica entre las mquinas i e i+1. Entonces, si al comienzo de un ciclo, alguna de las primeras i mquinas
estn malas, pero las mquinas i+1,i+2, .....N estn buenas, y existe al menos un producto en el buffer, ese
producto puede ser procesado, con lo cual ese ciclo es exitoso (se obtiene un producto terminado). Por otra
parte, si alguna de las mquinas i+1,i+2,....N estn malas, pero las mquinas 1,2,....i estn buenas y existe
capacidad disponible en el buffer, entonces las primeras i mquinas pueden procesar una unidad de materia
prima para incorporar durante ese ciclo un producto al buffer (en este caso el ciclo no es exitoso pero produce
un aumento en la cantidad de productos almacenados en el buffer, los que pueden utilizarse en ciclos futuros
para producir productos terminados).
Interesa poder formular un modelo que permita determinar la posicin ptima del buffer de modo de maxi-
mizar la productividad media de la lnea. Para llevar a cabo tal formulacin es necesario analizar el proceso
{Xn , n = 0, 1, 2, ...}, en que Xn corresponde a la cantidad de productos en el buffer al comienzo del ciclo
nmero n.
Suponga que el sistema tiene 3 mquinas y que el buffer tiene capacidad de 3 productos y se ubica entre la
mquina 1 y la mquina 2. Obtenga la matriz P para este proceso. Analice si existe distribucin estacionaria
para este proceso, obtenga una expresin para la productividad esperada de la lnea en un ciclo en el largo
plazo.
Solucin:
Se calcular en primer lugar la matriz P para este proceso.
Pr {Xn+1 = 0 |Xn = 0 } = Pr {todas las m aq. buenas o la m aq. 1 mala}

= (1 p1 ) (1 p2 ) (1 p3 ) + p1
Pr {Xn+1 = 1 |Xn = 0 } = Pr {maq. 1 buena y al menos una m aq. de entre 2 y 3 mala}
= (1 p1 ) [1 (1 p2 ) (1 p3 )]
Para k =1,2:
Pr {Xn+1 = k + 1 |Xn = k } = (1 p1 ) [1 (1 p2 ) (1 p3 )]
Pr {Xn+1 = k |Xn = k } = (1 p1 ) (1 p2 ) (1 p3 ) + p1 [1 (1 p2 ) (1 p3 )]
Pr {Xn+1 = k 1 |Xn = k } = p1 (1 p2 ) (1 p3 )
Pr {Xn+1 = 2 |Xn = 3 } = p1 (1 p2 ) (1 p3 )
Pr {Xn+1 = k 3 |Xn = 3 } = 1 p1 (1 p2 ) (1 p3 )
Para que una Cadena de Markov tenga distribucin estacionaria se necesita que la cadena sea irreductible y
que los estados sean recurrentes positivos y aperidicos. En primer lugar se puede afirmar que existe slo una
clase de estados ya que todos los estados se comunican entre s. Esto significa que de un estado cualquiera i
se puede pasar a otro estado cualquiera j en un nmero finito de etapas.
Por otra parte, los estados son recurrentes positivos ya que la probabilidad de volver alguna vez al mismo
estado es 1 y se trata de una cadena finita. Son aperiodicos ya que se puede volver en una etapa. Por lo tanto
se demuestra que existe distribucin estacionaria.
La productividad de la lnea de produccin en el largo plazo puede ser medida como la proporcin de las veces
en que un producto sale terminado. Un producto sale terminado en una etapa n cualquiera en el largo plazo,
cuando suceden dos eventos:
(a) i. Todas las mquinas del proceso estn buenas en la etapa n.

o
ii. Hay al menos un producto en el buffer, la mquina 1 est mala y las mquinas 2 y 3 estn buenas.
As, la probabilidad de que un producto salga terminado en el largo plazo, o ms bien, la productividad
de la lnea en el largo plazo es:
Pr oductividad = (1 p1 ) (1 p2 ) (1 p3 ) + p1 (1 p2 ) (1 p3 ) (1 0 )
Donde (1-0 ) es la probabilidad de que haya al menos un producto en el buffer en el largo plazo.
OBS: Para calcular 0 se resuelve el sistema de ecuaciones
= PT

i = 1
17. Un deportista sale a trotar todos los das a primera hora de la maana. Dispone para ello de 5 pares de
zapatillas. Para salir a trotar, puede hacerlo por la puerta delantera de la casa o por la puerta de servicio.
Suponga que es igualmente probable que escoja cualquiera de las 2 puertas cuando sale a trotar. Tambin,
cuando vuelve de su trote matinal, es igualmente probable que entre a la casa por cualquiera de las dos
puertas. Cuando vuelve de su trote, deja las zapatillas que utiliz para trotar, en la puerta que utiliz para
ingresar a la casa. Si al salir a trotar por la maana, no encuentra un par de zapatillas en la puerta respectiva,
sale a trotar a pie pelado.
(a) Formule un modelo Cadena de Markov discreta que permita obtener la probabilidad que en un da
cualquiera en el largo plazo, el deportista deba salir a pie pelado a realizar su trote (defina la variable de
estado del modelo, sus valores posibles, la matriz P y el procedimiento para encontrar la probabilidad
pedida).
(b) Qu proporcin del tiempo el deportista corre sin zapatillas ?
Solucin:
(a) Sea Xn el nmero de zapatillas en la puerta delantera de la casa. Los valores posibles de Xn son :
0,1,2,3,4,5
La formula de recurrencia para Xn+1 es :

Xn 1 si sale por la puerta delantera y entra por la trasera
Xn+1 = Xn + 1 si sale por la puerta trasera y entra por la delantera

Xn si sale por D y entra por D o si sale por T y entra por T
As, la matriz P es:

0.75 0.25 0 0 0 0
0.25 0.5 0.25 0 0 0

0 0.25 0.5 0.25 0 0

P =
0 0 0.25 0.5 0.25 0

0 0 0 0.25 0.5 0.25
0 0 0 0 0.25 0.75
Este modelo permite conocer la proporcin del tiempo que el deportista corre sin zapatillas ya que esto
sucede cuando las zapatillas estn concentradas en alguna puerta y l decide salir a trotar por la puerta
que no contiene ninguna zapatilla.
(b) Para calcular esta proporcin debemos calcular las probabilidades de largo plazo con el siguiente sistema
de ecuaciones:
= PT

i = 1
Resolviendo el sistema se obtiene que:
i = 1/6 i = 0, 1, 2, 3, 4, 5
Luego, la proporcin del tiempo va a ser:
Pr {corra sin zapatillas} = 0 Pr {elegir puerta delantera} + 5 Pr {elegir puerta trasera}

= 1/6
18. Un ingeniero electrnico se dedica a prestar asesoras a empresas que se ubican en 3 ciudades: A,B,C. Cada
asesora demora una semana. Hay un probabilidad P (x) que se genere una demanda por asesora en la ciudad
x en una semana cualquiera. El ingreso asociado a una asesora en la ciudad x es I(x). El costo de moverse de
la ciudad x a la ciudad y es c(x,y); estos costos son simtricos, es decir: c(x,y)=c(y,x). Los datos del problema
son: p(A)=4/6; p(B)=3/6; p(C)=5/6; c(A,B)=1; c(A,C)=4; c(B,C)=3; i(A)=9; i(B)=7; i(C)=6.
Si el ingeniero se encuentra en una ciudad al final de la semana, l recibe informacin de los requerimientos de
asesora para la prxima semana (observe que stos pueden o no producirse, de acuerdo a las probabilidades
ya definidas), y toma su decisin de quedarse donde est o trasladarse a otra ciudad, en base al mayor valor
de ingreso menos costo (si en una semana, no hay requerimientos en ninguna de las ciudades, se queda donde
est).
(a) Sea Xn la ciudad en que se encuentra el ingeniero al principio de la semana n; obtenga la matriz P.
(b) Suponga que usted conoce la distribucin estacionaria para este proceso; obtenga el beneficio neto es-
perado semanal del ingeniero, en el largo plazo.
Solucin:
(a) Para determinar las probabilidades de transicin, debemos saber de qu manera decidir el ingeniero a
donde dirigirse en caso de recibir requerimientos de asesoras. La decisin de a donde dirigirse depender
del beneficio que significa atender los distintos pedidos.
As, si Xn = A, el beneficio neto de atender un requerimiento en A ser de
B(A, A) = i(A) c(A, A)

= 90
= 9
el beneficio de atender un requerimiento de B ser de
B(A, B) = i(B) c(A, B)

= 71
= 6
y el beneficio de atender un requerimiento de C ser de
B(A, C) = i(C) c(A, C)

= 64
= 2
Luego, el ingeniero estar en la ciudad A la prxima semana, dado que est en esa ciudad, en el caso de
que se produzca un requerimiento en A o en el caso de que no se produzca ningn requerimiento ya que
en ese caso el ingeniero no se mueve hacia otra ciudad. Es decir,
PA,A = Pr {llegue un requerimiento de A o no llegue ning

un requerimiento}
= Pr {llegue un requerimiento de A} + Pr {no llegue ning
un requerimiento}
= 4/6 + 2/6 3/6 1/6
= 25/36
El ingeniero estar en la ciudad B la prxima semana, dado que est en A, en el caso de que se produzca
un requerimiento en B y adems no se produzca uno en A (en cuyo caso le conviene quedarse en A).
Esto es,
PA,B = Pr {llegue un requerimiento de B y no llegue ningun requerimiento de A}

= Pr {llegue un requerimiento de B} Pr {no llegue ning
un requerimiento de A}
= 3/6 2/6
= 6/36
De la misma manera se tiene que:
PA,B = Pr {llegue un requerimiento de C y no llegue ningun requerimiento de A ni de B}

= Pr {llegue un requerimiento de C} Pr {no llegue ning
un requerimiento de A ni de B}
= 5/6 2/6 3/6
= 5/36
Cabe sealar que se verifica que PA,A + PA,B + PA,C = 1, como era de esperarse.
Siguiendo la misma metodologa se tiene que:
si Xn = B
B(B, A) = 8
B(B, B) = 7
B(B, C) = 3
Luego, conviene irse a A si es que se genera un requerimiento all. De esta manera se obtiene:
PB,A = 4/6
PB,B = 7/36
PB,C = 5/36
si Xn = C
B(C, A) = 5
B(C, B) = 4
B(C, C) = 6
Luego, conviene irse a A si es que se genera un requerimiento all. Por lo tanto:
PB,A = 4/36
PB,B = 1/36
PB,C = 31/36
Finalmente,
25/36 6/36 5/36
P = 4/6 7/36 5/36
4/36 1/36 31/36
(b) El beneficio neto esperado semanal depende de donde se encuentre el ingeniero. Por ejemplo, si el
ingeniero se encuentra en A, su beneficio esperado para la prxima semana ser de:
BA = 9 Pr {se genere un requerimiento en A} + 6 Pr {se genere un requerimiento en B}

+2 Pr {se genere un requerimiento en C} + 0 Pr{no se genere un requerimiento}
BA = 9 4/6 + 6 6/36 + 2 5/36 + 0
BA = 227/36
As, se tiene lo mismo para B y C
BB = 324/36
BC = 204/36
Ahora, ya se tiene el beneficio esperado semanal dado que el ingeniero est en alguna ciudad. Luego,
para saber el beneficio esperado semanal se necesita saber cual es la probabilidad de que el ingeniero est
en el largo plazo en dicha ciudad; as se obtiene que:
E(B) = BA A + BB B + BC C
19. Suponga que la moneda 1 tiene probabilidad 0,3 de salir cara, y que la moneda 2 tiene probabilidad 0,4 de salir
cara. Si la moneda que lanzamos hoy da sale cara, entonces maana se lanzar la moneda 1, y si sale sello,
entonces maana se lanzar la moneda 2. Si la moneda inicialmente lanzada tiene la misma probabilidad de
ser la moneda 1 o la moneda 2, cul es la probabilidad de que la moneda 1 sea lanzada al cuarto da despus
de lanzar la moneda inicial?
Solucin:
Sea Xn la moneda lanzada en el da n. Los valores posibles de Xn son :1,2. de acuerdo a la poltica de
lanzamiento anunciada se tiene que:
0.3 0.7
P=
0.4 0.6
Se pide calcular Pr {X4 = 1} .

Sabemos que f (i) = P T f (i1) ,luego,
f (4) = (P T )3 f (1)
donde f (1) = (0.5, 0.5)T , luego,

(4) 0.3635
f =
0.6365
As, Pr {X4 = 1} = 0.3635

20. Considere una cadena de Markov cuya matriz de transicin est dada por:

0.1 0.2 0.1 0.1 0.2 0.1 0.1 0.1
0 0.1 0.2 0.1 0 0.3 0.1 0.2

0.5 0 0 0.2 0.1 0.1 0.1 0

0 0 0.3 0.7 0 0 0 0

P =
0 0 0.6 0.4 0 0 0 0
0 0 0 0 0 0.3 0.4 0.3

0 0 0 0 0 0.2 0.2 0.6
0 0 0 0 0 0.9 0.1 0
(a) Identifique la estructura de la cadena, qu clases existen, de qu tipo son los estados y cules son los
perodos (si los hay).
Solucin:
(a) Al analizar el diagrama se tiene que existen dos clases de estados:
C1 = {1, 2, 3, 4, 5}
C2 = {6, 7, 8}
Como sabemos, todos los estados de una misma clase son del mismo tipo y tienen el igual perodo por
lo que basta analizar un estado cualquiera de cada clase.
As, el estado1 se observa que es transiente ya que la probabilidad de que vuelva alguna vez a ese estado
es menor que 1 y el estado es aperidico ya que es posible que retorne en un perodo.
Para el el estado 6 se ve que es recurrente, ya que la probabilidad de volver alguna vez es 1 y es positivo
ya que la cadena es finita.
21. Una cadena de Markov {Xn, n 0} tiene tres estados {0, 1, 2} y la siguiente matriz de probabilidades de
transicin:

0.3 0.2 0.5
P = 0.6 0.3 0.1
0.7 0.2 0.1
Suponga que la distribucin del estado inicial es: P {X0 = 0} = 0, 2; P {X0 = 1} = 0, 5; P {X0 = 2} = 0, 3.
Determine P {X0 = 0, X1 = 1, X2 = 2}.
Solucin:
Utilizando la propiedad markoviana se tiene que:
P r {X0 = 0, X1 = 1, X2 = 2} = P r {X0 = 0} P r {X1 = 1 |X0 = 0 } P r {X2 = 2 |X1 = 1 }
Luego,
P r {X0 = 0, X1 = 1, X2 = 2} = 0.2 0.6 0.2
= 0.024
22. Suponga que la moneda 1 sale cara con probabilidad 0,4 y la moneda 2 sale cara con probabilidad 0,6. Una
moneda es lanzada continuamente hasta que sale sello. Una vez que sale sello, esa moneda se deja de lanzar
y se comienza a lanzar la otra.
(a) En qu proporcin de los lanzamientos es lanzada la moneda 1?

(b) Si se comienza el proceso con la moneda 1, cul es la probabilidad de que la moneda 2 sea usada en el
6to lanzamiento?
Solucin:
(a) Definamos el problema como una cadena de Markov discreta donde Xn es la moneda lanzada en la etapa
n. As los posibles valores de Xn son: 1,2.
Las probabilidades de transicin quedan definidas de acuerdo a las probabilidades de las monedas como
sigue:
- Si se est lanzando la moneda no 1, la probabilidad de que en la prxima etapa se siga lanzando la
moneda no 1 es la probabilidad de que salga cara, es decir:
P1,1 = 0.4
P1,2 = 0.6
- Si se est lanzando la moneda no 2, la probabilidad de que en la prxima etapa se siga lanzando la

moneda no 2 es la probabilidad de que salga cara, es decir:
P2,2 = 0.6
P2,1 = 0.4
As queda definida la matriz P, que es igual a

0.4 0.6
P =
0.4 0.6
La proporcin en que es lanzada la moneda no 1 no es otra cosa que la probabilidad en el largo plazo en
que el proceso est en el estado 1, por lo que se determinan las probabilidades de largo plazo resolviendo
el sistema de ecuaciones compuesto por:
= PT

y i = 1
Es decir,
1 = 0.4 1 + 0.4 2
1 + 2 = 1
Resolviendo se tiene que:
1 = 0.4
1 = 0.6
Luego, la proporcin en que se lanza la moneda 1 es 0.4.

(b) Se pide Pr {X6 = 2 |X1 = 1 }
Sabemos que f i = P T f i1 ,luego:
f6 = (P T )5 f 1

T 5 1
= (P )
0

0.4 0.4 1
=
0.6 0.6 0

0.4
=
0.6
Luego, Pr {X6 = 2 |X1 = 1 } = 0.6
23. Considere una cadena de Markov con estados {1, 2, 3, 4} y matriz de transicin:

1/4 3/4 0 0
1 0 0 0
P =2/3 0 1/3 0

0 0 2/3 1/3
(a) Clasifique los estados de esta cadena segn su recurrencia o transiencia. Es la cadena irreducible?
(b) Encuentre el tiempo (nmero de etapas) medio de recurrencia para los estados 1 y 2.
(c) Calcule la probabilidad de que alguna vez el sistema ingrese al estado 3, considerando que el estado
inicial es 4.
Solucin:
(a) El siguiente diagrama muestra los estados del sistema:
Figura 1.5:
Observando el diagrama, se observa que existen 2 clases. Una clase son los estados 1,2 y que son
recurrentes; la otra est representada por los estados 3 y 4, stos estados son transientes ya que es
posible que el sistema abandone esta clase de estados y no vuelva nunca. La cadena, al tener dos clases
no es irreducible.
(b) Se pide t1,1 = E [T (1, 1)] ; t1,2 = E [T (2, 2)] .

Ahora, sabemos que en general se cumple:

ti,j = 1 + Pi,l tl,j
l=j
Luego:
t1,1 = 1 + P1,2 t2,1 = 1 + 3/4 t2,1
t2,1 = 1+0 =1
Por lo tanto:
t1,1 = 1 + 3/4 1 = 7/4
Por otra parte:
t2,2 = 1 + P2,1 t1,2 = 1 + 1 t1,2
t1,2 = 1 + P1,1 t1,2 = 1 + 1/4 t1,2
3/4 t1,2 = 1
t1,2 = 4/3
Luego,
t2,2 = 1 + 1 4/3 = 7/3
(c) Se pide F (4, 3) = Pr {T (4, 3) < } . Intuitivamente observando el diagrama del proceso, es claro que
F (4, 3) = 1,ya que la probabilidad que el proceso permanezca para siempre en el estado 4 es 0. Podemos
en todo caso, calcular esto formalmente. En general se tiene que:

F (i, j) = Pi,j + Pi,m F (m, j)
m=j
Luego:
F (4, 3) = P4,3 + P4,4 F (4, 3)
= 2/3 + 1/3 F (4, 3)
2/3 F (4, 3) = 2/3
F (4, 3) = 1
24. El siguiente es un modelo simplificado de propagacin de una enfermedad. La poblacin total es de N
individuos; de los cuales algunos estn enfermos y el resto no. En un perodo determinado de tiempo, dos
individuos son seleccionados al azar de entre la poblacin y se asume que interactan. La seleccin es tal
que los encuentros entre cualquier par de individuos son igualmente probables. Si uno de los individuos est
enfermo y el otro no, entonces con probabilidad = 0,7 se produce el contagio. Si no, no hay transmisin de
la enfermedad. Especifique los estados de la cadena y la matriz de transicin para el caso N=6.
Solucin:
Sea Xn el nmero de individuos enfermos dentro de la poblacin. Los valores posibles de Xn son 0,1,2,...,N.
En el caso particular de que el estado en la etapa n sea 0 se tiene que P0,0 = 1 y P0,i = 0,ya que si nadie est
enfermo la enfermedad no se puede propagar. Para el resto de los casos se calcularn las probabilidades de
transicin, asi se tiene que:
Pi,i = Pr {escoger un individuo enf ermo, otro sano y que no se produzca contagio}
+ Pr {escoger 2 enfermos}
+ Pr {escoger 2 sanos}
Pi,i+1 = Pr {escoger uno enfermo y otro sano y se produzca contagio}
Ahora:
(1i )(Ni1 )
Pr {escoger un individuo enf ermo y otro sano} =
(N2 )
(1i )
Pr {escoger dos individuos enf ermos} =
(N2 )
(Ni)
Pr {escoger dos individuos sanos} = N1
(2)
As, para N=6 se tiene que:
P1,1 = 1/3 (1 ) + 0 + 10/15 = 1/3 (1 ) + 2/3
P1,2 = 1/3 = 1/3
P1,resto = 0
P2,2 = 8/15 (1 ) + 1/15 + 6/15 = 8/15 (1 ) + 7/15
P2,3 = 8/15 = 8/15
P2,resto = 0
P3,3 = 9/15 (1 ) + 3/15 + 3/15 = 9/15 (1 ) + 6/15
P3,4 = 9/15 = 9/15
P3,resto = 0
P4,3 = 8/15 (1 ) + 6/15 + 1/15 = 9/15 (1 ) + 7/15
P4,5 = 8/15 = 8/15
P4,resto = 0
P5,5 = 1/3 (1 ) + 10/15 + 0 = 1/3 (1 ) + 2/3
P5,6 = 1/3 = 1/3
P5,resto = 0
P6,6 = 1

Markov Discreto

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Markov Discreto

Uploaded by

Copyright:

Available Formats

Problemas Resueltos de Modelos Estocsticos

I Cadenas de Markov Discreta 1

Cadenas de Markov Discreta

Cadenas de Markov Discreta

(a) Es este proceso una cadena de Markov discreta?

P0,1 = Probabilidad de pasar del estado 0 al estado 1, es decir,

Luego, la matriz de transicin de probabilidades, P , es:

Resolviendo el sistema de ecuaciones se obtiene que:

(a) Es este proceso una cadena de Markov discreta?

P0,0 = Pr{Nn = 0 o Nn > D} = Pr{Nn = 0} + Pr{Nn > D}

Anlogamente se calculan las otras probabilidades de transicin, obteniendo:

(a) Existe distribucin lmite? Existe distribucin estacionaria? Justifique.

(a) De acuerdo a la figura, podemos identificar 4 clases de estados:

Las clases de estados de esta cadena de Markov son:

C2 = {6, 7, 8} (transiente aperidica);

Pr {V entas Bajas} = Pr {las ventas en una semana cualquiera sean Bajas}

Como el estado 2 es transiente, en el largo plazo ,Pr {Xn = 2} = 0.

F (6, 3) = 0, 4 F (6, 3) + 0, 6 F (7, 3)

Resolviendo el sistema, se tiene que:

Pr {V entas M edias} = Pr {las ventas en una semana cualquiera sean M edias}

Por otra parte, se tiene:

F (6, 4) = 0, 4 F (6, 4) + 0, 6 F (7, 4)

E {T (5, 5)} = 0.2 + 2 0.8 1 = 1.8

Para las Ventas Altas, se tiene que:

Pr {V entas Altas} = Pr {las ventas en una semana cualquiera sean Altas}

debido a que la clase C2 es transiente.

E {T (2, 2)} = 1 0.6 + 0.4

Las clases de estados de esta cadena de Markov son:

(e) Se pide E {T (2, 5)}

Ayer Hoy Maana Probabilidad

Resolviendo se obtiene que:

(a) Defina una relacin de recurrencia para Xn+1 en funcin de Xn .

(a) La relacin de recurrencia es:

Xn+1 = M in[Xn + Nn M in{Xn , 2}, 4]

Finalmente, la matriz de transicin en una etapa es:

(c) Se pide lim E[N o mensajes perdidos]

(d) S, debido a que se sigue cumpliendo la propiedad markoviana y de estacionariedad.

(a) Sea Xn es el nmero de autos en Santiago al comienzo del da n. Entonces:

Xn+1 = M ax [Xn ds, 0] + M in [dv, N Xn ]

En que, ds : cantidad de autos demandada en Santiago

0.2 0.5 0.2 0.1

(b) Se pide F3 (C, G)

= Pr{estar en A \ se llega (a lg una vez) a clase C1 } Pr{llegar a C1}

Por otra parte,

pues C y D son estados transientes.

Por lo tanto, E {T (B, B)} = 5/2 = 2.5

y se sabe que hoyda est despejado, es decir, f 1 = (1, 0, 0).

evaluando P 6 , se tiene que:

Luego, la probabilidad de que el 7o da est lloviendo es 0.47903. Entonces,

Pr {7o y 8o da lloviendo} = Pr {7o da est

Luego, la devolucin esperada del seguro es de

(a) Obtenga la matriz P de este proceso.

P1,1 = Pr {Dn > a1 } = 1 F (a1 )

As, se puede obtener la matriz de transicin P, que es igual a:

Para el caso de que se tenga contratado v1 , el costo(D) vendr dado por:

As, en el largo plazo se tiene que:

POr lo tanto el costo total a minimizar es

Analizando la expresin se tiene que:

Aviso Pequeo Aviso Grande

La matriz P asociada a la poltica es la siguiente:

Se sabe que en la primera semana se tuvieron ventas bajas por lo que

As, utilizando que f i = P T f i1 se tiene que:

Sea B el vector de beneficios y C el vector de costos, es decir,

Para la semana no 3 se tiene que:

donde f (1) = (0.5, 0.5)T , luego,