Pontificia Universidad Católica De Chile

Escuela de Ingenierı́a
Departamento de Ingenierı́a Industrial y de Sistemas

ICS2123 Modelos Estocásticos − Profesor Alfredo Villavicencio

Primer semestre, 2017 – Sección 2

Guı́a 3 - Cadenas de Markov en Tiempo Discreto

Problema 1

Para subir a lo alto de una atracción turı́stica, los visitantes deben emplear un ascensor. Los visitantes llegan a tomar el
ascensor de acuerdo a un proceso de Poisson, {N (t), t ≥ 0}, con tasa λ > 0 personas por minuto. El ascensor tarda un tiempo
determinı́stico igual a v > 0 minutos en subir desde el punto de partida a nivel del suelo (que llamaremos base) y retornar a él
para recoger nuevos visitantes. El ascensor siempre retorna vacı́o a la base, pues los visitantes bajan por otro acceso dispuesto
especialmente para ello. Suponga que el instante t = 0 coindice con el instante en que el ascensor inicia la subida número 0.

El ascensor tiene dos compartimientos, que llamaremos compartimiento 1 y compartimiento 2, cada uno con una puerta
individual. Las personas que llegan a tomar el ascensor eligen, a priori, el compartimiento que desean usar, lo que no pueden
cambiar con porterioridad. Con probabilidad p eligen el compartimiento 1 y con probabilidad 1 − p eligen el compartimiento
2 (elección independiente para cada persona e independiente del proceso de llegada), con 0 < p < 1.

Cada compartimiento tiene un lı́mite de capacidad de pasajeros dado por ki para el compartimiento i (i = 1, 2), con k1 ,
k2 enteros y tal que 10 < k2 < k1 . Por ello, puede ocurrir que en el instante en el que el ascensor emprende un nuevo viaje
queden pasajeros en la base. Dichos pasajeros esperan el retorno del ascensor para poder subir a él, formando una cola (una
cola diferente para cada compartimiento). El ascensor permanece un tiempo determinı́stico de d > 0 minutos (con las puertas
abiertas) en la base entre viajes sucesivos. Si al llegar una persona el ascensor está en la base y el compartimiento que escogió
tiene capacidad disponible, ingresa a él de inmediato; en caso de que el ascensor no se encuentre en la base, la persona espera
en la cola el retorno del ascensor a la base. Suponga que las colas no tienen lı́mite de capacidad. Note que bajo esta descripción,
es posible que se dé el caso en que uno de los compartimientos se llene, dejando personas sin poder subir, mientras que el otro
quedó con capacidad disponible (no se llenó). Sea Xn el número de visitantes que quedan esperando en la base en la cola del
compartimiento 1 en el instante de la n-ésima partida del ascensor; con lo que es fácil deducir que {Xn , n = 0, 1, 2, . . . } es
una cadena de Markov en tiempo discreto. Análogamente, para el compartimiento 2, se define Yn , en que {Yn , n = 0, 1, 2, . . . }
también será una cadena de Markov en tiempo discreto.
a) Determine el espacio de estados de la cadena {Xn , n = 0, 1, 2, ...}.
b) Encuentre una relación de recurrencia para Xn (para n = 1, 2, 3, ...).
c) Calcule P (Xn+1=8 | Xn = 5).
Ahora suponga que las colas sı́ tienen lı́mite de capacidad, este lı́mite es de ci para el compartimiento i (i = 1, 2), con c1 , c2
enteros y 10 < k2 < k1 < c2 < c1 . Entonces, si un visitante llega y encuentra que la cola del compartimiento que escogió ya
alcanzó su lı́mite, simplemente se va (y no regresa). Bajo estas nuevas condiciones y manteniendo las definiciones de Xn e Yn ,
{Xn , n = 0, 1, 2, . . . } e {Yn , n = 0, 1, 2, ...} siguen siendo cadena de Markov en tiempo discreto.
d) Determine el espacio de estados de la cadena {Xn , n = 0, 1, 2, ...}.
e) Encuentre una relación de recurrencia para Xn (para n = 1, 2, 3, ...).
f) Calcule P (Xn+1=8 | Xn = 5).
Suponga que ahora se desea evitar la situación en que gente de un compartimiento se quede esperando en la base (porque
su compartimiento se llenó), mientras que el otro compartimiento quedó con capacidad disponible. Por ello, se contrata a
un encargado que, justo en el instante en que el ascensor se dispone a partir, evita que esta situación ocurra. Ası́, cuando
corresponde el caso, el encargado utiliza la capacidad disponible del compartimiento que no se llenó con las personas que
estaban esperando por el otro compartimiento.

Manteniendo las definiciones de Xn e Yn , ahora {(Xn , Yn ), n = 0, 1, 2, . . . } es una CMTD.

g) Determine el espacio de estados de la cadena {(Xn , Yn ), n = 0, 1, 2, ...}.
h) Encuentre una relación de recurrencia para (Xn , Yn ) (para n = 1, 2, 3, ...).

Solución

Digamos que {N1 (t), t ≥ 0} corresponde al proceso que cuenta la llegada de personas al compartimiento 1, en que ya sabemos
que N1 (t) ∼ P oisson(λtp) por descomposición de procesos de Poisson. Análogamente digamos que {N2 (t), t ≥ 0} corresponde
al proceso que cuenta la llegada de personas al compartimiento 2, en que ya sabemos que N2 (t) ∼ P oisson(λt(1−p)) (también
por descomposición de procesos de Poisson).

Para simplificar notación, digamos que {M1 (t), t ≥ 0} y {M2 (t), t ≥ 0} corresponden, respectivamente, a los procesos que
cuentan la llegada de personas al compartimiento 1 y al compartimiento 2 a partir del instante en que se comienza la n-ésima
subida del ascensor, es decir, para todo t:

M1 (t) = N1 (n(d + v) + t) − N1 (n(d + v))

M2 (t) = N2 (n(d + v) + t) − N2 (n(d + v))

a) El espacio de estados es {0, 1, 2, ...}.

b) La recurrencia es:
Xn+1 = máx{Xn + M1 (d + v) − k1 , 0}
c) ...revisado en ayudantı́a y en un ejercicio hecho para la I1...
d) El espacio de estados es {0, 1, 2, ..., c1 }.
e) La recurrencia es:

Xn+1 = máx{mı́n{mı́n{Xn + M1 (d), c1 } + M1 (d + v) − M1 (d), c1 + k1 } − k1 , 0}

o bien:
Xn+1 = máx{mı́n{mı́n{Xn + M1 (d), c1 } + M1 (d + v) − M1 (d) − k1 , c1 }, 0}
f) ...revisado en ayudantı́a y en un ejercicio hecho para la I1...
g) El espacio de estados es {(i, j) : i ∈ {0, 1, ..., c1 } ∧ j ∈ {0, 1, ..., c2 }}.
h) Definamos Vn como la cantidad de personas que quedan en la cola del compartimiento 1 justo en el instante de la
n-ésima partida del ascensor y, análogamente, definamos Wn como la cantidad de personas que quedan en la cola del
compartimiento 2 justo en el instante de la n-ésima partida del ascensor. Sabemos que:

Vn = mı́n{mı́n{Xn + M1 (d), c1 } + M1 (d + v) − M1 (d), c1 + k1 }

Wn = mı́n{mı́n{Xn + M2 (d), c2 } + M2 (d + v) − M2 (d), c2 + k2 }

Y, en base a estas definiciones, la recurrencia corresponde a:



 (0, 0) , si Vn ≤ k1 , W n ≤ k2

(máx{V − (k − W ) − k , 0}, 0)
n 2 n 1 , si Vn > k 1 , Wn ≤ k2
(Xn+1 , Yn+1 ) =

 (0, máx{W n − (k1 − Vn ) − k2 , 0}) , si Vn ≤ k1 , W n > k2

(Vn − k1 , Wn − k2 )

, si Vn > k 1 , Wn > k2

Problema 2

Desde cierto terminal de buses, salen buses a un solo destino. Los buses salen a intervalos de tiempo fijos, de largo d > 0
minutos (es decir, cada d minutos sale un nuevo bus). Las personas que quieren tomar un bus llegan al terminal de acuerdo
a un proceso de Poisson con tasa λ > 0 (personas/minuto). Cada bus tiene capacidad para exactamente c pasajeros (con c
entero positivo). La subida a cada bus se efectúa de la siguiente forma.

En el instante de abordar un bus, se da preferencia a las personas que estaban en el terminal cuando partió el bus ante-
rior (es decir, a las que no pudieron subir al bus anterior por falta de capacidad). Si todos ellos caben en el bus, suben primero
y la capacidad sobrante se destina a las nuevas personas llegadas (es decir, a quienes no han esperado más de d minutos).
Si todas las personas nuevas llegadas caben, suben también, dejando el terminal vacı́o. En caso de que no todas las personas
nuevas llegadas quepan en el bus, se escoge aleatoriamente entre ellas a las que subirán (hasta llenar el bus), sin dar preferencia
a ninguna en particular. Las personas que no han podido subir, se quedan en el terminal hasta la espera de una próxima salida.
De la misma forma, si la capacidad del bus no es suficiente para llevar a todas las personas que no habı́an podido tomar el
bus anterior, se escoge a c de ellas aleatoriamente, sin dar prioridad a ninguna por sobre otra. En este caso, se quedarán en el
terminal personas que no habı́an podido abordar el bus con anterioridad y todas las nuevas llegadas, que al momento de salir
el bus pasarán a ser personas que no han podido abordar un bus.

Suponga que el terminal inicialmente está vacı́o y que no tiene lı́mite de capacidad en cuanto al número de personas que
pueden permanecer allı́, que la subida de las personas al bus no toma tiempo y que la salida de buses funciona de manera
permanente de acuerdo a lo descrito.

Sea Xn el número de personas que quedan en el terminal en el instante en que parte el n-ésimo bus (justo después del
abordaje). Puede verse que {Xn , n = 0, 1, 2, . . .} es una cadena de Markov en tiempo discreto.
a) Determine el espacio de estados de la cadena.
 b) Formule una recurrencia para Xn .
c) Determine las probabilidades de transición de la cadena. Considere todos los casos posibles.
Ahora, considere que las personas que se quedan esperando en el terminal en el instante que pasa un bus pertenecen a uno de
dos grupos. Un grupo, que llamaremos grupo 1, corresponde a las personas que no pudieron subir una vez (y solo una) a un
bus, y otro grupo, que llamaremos grupo 2, está constituido por las personas que no han podido subir dos o más veces a un
bus. La subida de cada bus ahora se efectúa de la siguiente forma.

En el instante de abordar un bus, se da preferencia a las personas del grupo 2. Si todas ellas caben en el bus, suben pri-
mero. Si no todas caben, se escoge aleatoriamente c de ellas, las que abordan el bus, debiendo el resto de las personas quedarse
en el terminal. Por el contrario, si queda espacio en el bus, se destina a personas del grupo 1. En caso de no caber todas ellas,
se escoge, aleatoriamente entre ellas, un número que hace que el bus parta lleno. En caso de que todas ellas quepan, suben, y
la posible capacidad sobrante se destina a las nuevas personas llegadas, escogiendo aleatoriamente de ellas una cantidad hasta
llenar el bus. Por supuesto que si hay espacio para todas ellas, suben, y el terminal queda vacı́o. En el instante de salida del
bus, se actualiza la composición de los grupos, de manera que todas las personas que intentaron tomar el bus por primera vez
sin lograrlo, pasan a constituir el grupo 1, y el resto corresponde al grupo 2. El resto de los supuestos se mantiene.

Sea Yn y Zn el número de personas en el grupo 1 y el grupo 2, respectivamente, que quedan en el terminal en el instan-
te de partida del n-ésimo bus (justo después del abordaje). Puede verse que {(Yn , Zn ), n = 0, 1, 2, . . .} es una cadena de
Markov en tiempo discreto.
d) Escriba una relación de recurrencia para esta nueva cadena.
e) Calcule P ((Yn+1 , Zn+1 ) = (0, 0) | (Yn , Zn ) = (a, b)), para todo a, b entero, tal que 0 < a < b.

Solución

Sea M (t) el proceso que cuenta la cantidad de pasajeros que llegan en el intervalo [0, t]. Y consideremos N (d) = M ((n +
1) · d) − M (n · d), es decir, N (d) es la cantidad de pasajeros que llegan entre el paso del bus n-ésimo y el paso del bus
(n + 1)-ésimo.
a) El espacio de estados corresponde al conjunto {0, 1, 2, ...}
b) Ası́:
Xn+1 = máx{Xn + N (d) − c, 0}
c) Pij = P (máx{i + N (d) − c, 0} = j) =

Si j = 0
 c−i
 X e−λd · (λd)h
 , si i = 0, 1, . . . , c
Pi0 = P (i + N (d) − c ≤ 0) = P (N (d) ≤ c − i) = h!
h=0

0 , si i = c + 1, c + 2, . . .

Si j = 1, 2, 3, . . .
 −λd
e · (λd)c+j−i
, si i = 0, 1, . . . , c + j
Pij = P (i + N (d) − c = j) = P (N (d) = c + j − i) = (c + j − i)!
0 , si i = c + j + 1, c + j + 2, . . .


d) Tenemos:

(Yn+1 , Zn+1 ) = (máx{N (d) − máx{c − (Yn + Zn ), 0}, 0}, máx{Yn + Zn − c, 0})

e) La única posibilidad es que se hayan ido todos los que habı́an y los que llegaron en el intervalo.

P ((Yn+1 , Zn+1 ) | (Yn , Zn ) = (a, b)) = P (a + b + N (d) ≤ c) =


 c−a−b
X e−λd · (λd)h
, si a + b ≤ c


P (N (d) ≤ c − a − b) = j=0
h!

, si a + b ≥ c

0

Problema 3

Una oficina de atención a público opera de la siguiente forma. Los clientes llegan de acuerdo a un proceso de Poisson a
tasa λ > 0 clientes por minuto, y esperan afuera de la oficina, en una sala de espera. La puerta de la oficina permanece
normalmente cerrada y solo se abre en ciertos instantes. Los instantes de apertura de la puerta corresponden a los instantes
de ocurrencia de un proceso de renovación con tiempos entre eventos de distribución uniforme en el intervalo [0, 5], dado en
minutos. Cada vez que se abre la puerta se deja entrar a un número de clientes que es igual al total de clientes en espera si
dicho total es menor o igual a k (donde k es un entero positivo), e igual a k si dicho total es mayor a k.

Suponga que el sistema comienza inicialmente vacı́o. Suponga que la entrada de clientes no toma tiempo, por lo que la
puerta permanece abierta solo un instante en cada apertura. Suponga que la sala no tiene lı́mite de capacidad y que todos
los clientes esperan por entrar a la oficina, es decir, ninguno abandona por aburrimiento. Suponga también que el proceso de
llegada de clientes es independiente del proceso de aperturas de la puerta. Se define Xn como el número de clientes que quedan
en la sala de espera inmediatamente después de la n-ésima apertura de la puerta. Por todo lo anterior, es posible deducir que
{Xn , n = 0, 1, 2, . . .} es una cadena de Markov en tiempo discreto.
a) Determine el espacio de estados de la cadena {Xn , n = 0, 1, 2, ...}.
b) Encuentre una relación de recurrencia para Xn (para n = 1, 2, 3, ...).
c) Encuentre las probabilidades de transición de la cadena {Xn , n = 0, 1, 2, ...}.
Suponga ahora que la regla de entrada se mantiene en el caso en que el total de clientes esperando por entrar es menor o igual
a k, pero cambia en el caso en que hay más de k. En este último caso, en lugar de admitir el acceso de k clientes como era
antes, se permite la entrada a un número aleatorio de clientes. Dicho número tiene una distribución uniforme discreta en el
conjunto {k, k + 1, ..., Cn − 1} (es decir, cada elemento de este conjunto tiene la misma probabilidad de ser elegido), donde
Cn representa el número de clientes en espera en el instante de ocurrencia de la n-ésima apertura de la puerta, justo antes de
que entren clientes. La determinación del número de clientes que entra en cada apertura es independiente e independiente del
proceso de llegada de clientes y del proceso de aperturas de la puerta. En este escenario, y manteniendo la definición de Xn ,
{Xn , n = 0, 1, 2, . . .} también es una cadena de Markov en tiempo discreto.
d) Calcule P (Xm+1 = k + 1 | Xm = k + 1) con m entero positivo.
e) Calcule P (C1 = 0).

Solución

Digamos que {N (t), t ≥ 0} corresponde al proceso que cuenta las llegadas de clientes, en que ya sabemos que N (t) ∼
P oisson(λt), también digamos que Ui corresponde al tiempo que transcurre entre la apertura i − 1 y la apertura i (para
i = 1, 2, 3, ...), en que sabemos que las variables aleatorias Ui son todas independientes entre sı́ e independientes del proceso
de llegada, y tal que Ui ∼ U nif orme(0, 5).

Para simplificar notación, digamos que {M (t), t ≥ 0} corresponde al proceso que cuenta la llegada de clientes a partir del
instante en que se realiza la n-ésima apertura de la puerta, es decir, para todo t:
n
! n
!
X X
M (t) = N Ui + t − N Ui
i=1 i=1

Y, por lo tanto, como el proceso de Poisson se renueva en todo instante, sabemos que M (t) ∼ P oisson(λt).
a) El espacio de estados es {0, 1, 2, ...}.
b) La recurrencia corresponde a:
Xn+1 = máx{Xn + M (Un+1 ) − k, 0}
c) Queremos:

Pij = P (Xn+1 = j | Xn = i)
= P (máx{Xn + M (Un+1 ) − k, 0} = j | Xn = i)
= P (máx{i + M (Un+1 ) − k, 0} = j)

Si j = 1, 2, 3, ...:

Pij = P (i + M (Un+1 ) − k = j)
= P (M (Un+1 ) = j + k − i)
Z 5
1
= · P (M (x) = j + k − i) dx
5 0
• Si i = 0, 1, ..., j + k:
5
e−λx · (λx)j+k−i
Z
1
Pij = · dx
5 0 (j + k − i)!
• Si i = j + k + 1, j + k + 2, j + k + 3, ...:

Pij = 0
 Si j = 0:

Pi0 = P (i + M (Un+1 ) − k ≤ 0)
= P (M (Un+1 ) ≤ k − i)
k−i Z
1 X 5
= · P (M (x) = j) dx
5 j=0 0

• Si i = 0, 1, ..., k:
k−i Z
1 X 5 e−λx · (λx)j
Pi0 = · dx
5 j=0 0 j!

• Si i = k + 1, k + 2, k + 3, ...:

Pi0 = 0

d) Para simplificar notación, digamos que ahora {M (t), t ≥ 0} corresponde al proceso que cuenta la llegada de clientes a
partir del instante en que se realiza la m-ésima apertura de la puerta, es decir, para todo t:
m
! m
!
X X
M (t) = N Ui + t − N Ui
i=1 i=1

∞
X 1
P (Xm+1 = k + 1 | Xm = k + 1) = P (M (Um+1 ) = i) ·
i+1
i=k
∞ Z 5 −λx
X 1 e · (λx)i 1
= · dx ·
5 0 i! i+1
i=k
∞ Z
1 X 5 e−λx · (λx)i+1
= · dx
5λx (i + 1)!
i=k 0
∞ Z 5 −λx
1 X e · (λx)i
= · dx
5λx 0 i!
i=k+1
∞
1 X
= · P (M (Um+1 ) = i)
5λx
i=k+1
k
!
1 X
= · 1− P (M (Um+1 ) = i)
5λx i=0
k Z
!
1 X 5
e−λx · (λx)i
= · 1− dx
5λx i=0 0 i!

e) Se tiene:

P (C1 = 0) = P (N (U1 ) = 0)
Z 5 −λx
1 e · (λx)0
= · dx
5 0 0!
Z 5
1
= · e−λx dx
5 0
(1 − e−5λ )
=
5λ

Problema 4

En un proceso productivo, las piezas terminadas caen desde una correa transportadora a un contenedor de acuerdo a un
proceso de Poisson con tasa λ > 0 (piezas/minuto). El contenedor tiene una capacidad máxima de c piezas, con c entero no
negativo. Inicialmente, el contenedor se encuentra vacı́o, y comienza a llenarse a medida que caen piezas. Un operador revisa
el contenido del contenedor cada r > 0 minutos (exactamente). Al revisar, el operador determina (de forma instantánea) la
cantidad de piezas dentro de él. Si el contenedor contiene menos de k piezas (con k entero y tal que 5 < k + 2 < c), el operador
no toma ninguna acción; sin embargo, si el contenedor contiene k o más piezas, el operador lo vacı́a y lo vuelve a situar en su
lugar original. Suponga que el vaciado (y reposición) del contenedor no toma tiempo. En caso que la cantidad de piezas en el
contenedor alcance la capacidad máxima (del contenedor) entre dos revisiones sucesivas, las piezas que no caben dentro de él
simplemente caen al piso y son retiradas al momento de vaciar el contenedor. Suponga que retirar las piezas no toma tiempo
y que el contenedor inicialmente está vacı́o.

Sea Xn el número de piezas dentro del contenedor en el instante de realizarse la n-ésima revisión, pero antes de vaciarlo,
si fuese necesario. {Xn , n = 0, 1, 2, . . .} es una cadena de Markov en tiempo discreto.
a) Determine el espacio de estados de la cadena {Xn , n = 0, 1, 2, . . .}
b) Formule una relación de recurrencia para Xn .
c) Escriba expresiones generales para las probabilidades de transición en una etapa. Incluya todos los casos posibles.
d) Calcule F2 (c, c).
e) Calcule F (0, 0).
f) Determine una expresión para la probabilidad de que caiga al menos una pieza al piso entre dos revisiones sucesivas.
g) Si las revisiones se realizaran en instantes que correspondieran a eventos de un proceso de renovación, ¿serı́a el proceso
descrito una cadena de Markov en tiempo discreto? Si su respuesta es afirmativa, explique cómo verificarı́a que el
proceso es una cadena de Markov. Si su respuesta es negativa, explique claramente por qué.

Solución
a) El espacio de estados es {0, 1, ..., c}.
b) Sea {M (t), t ≥ 0} el proceso que cuenta las piezas que caen desde el inicio. M (t) ∼ Poisson (λt). Ahora, digamos que
N (r) es la cantidad de piezas que caen entre las revisiones n y n + 1, entonces: N (r) = M ((n + 1)r) − M (nr), es decir
N (r) ∼ Poisson (λr).
(
mı́n{Xn + N (r), c} , si Xn < k
Xn+1 = , ∀n = 1, 2, 3, ...
mı́n{N (r), c} , si Xn ≥ k

c) i = 0, 1, 2, . . . , k − 1

e−λr · (λr)j−i


P (N (r) = j − i) = , si j = i, i + 1, . . . , c − 1
(j − i)!



 ∞
Pij = Pic = P (N (r) ≥ c − i) =
X e−λr · (λr)h
, si j = c

 h!


 h=c−i
0 , en otros casos


i = k, k + 1, . . . , c

e−λr · (λr)j

P (N (r) = j) = , si j = 0, 1, . . . , c − 1



 j!
 ∞
Pij = P = P (N (r) ≥ c) =
X e−λr · (λr)h
ic , si j = c

 h!


 h=c
0 , en otros casos


Viéndolas como matriz:

 
0 a(0) a(1) a(2) ··· a(k − 1) a(k) a(k + 1) ··· A(c)
1 
 0 a(0) a(1) ··· a(k − 2) a(k − 1) a(k) ··· A(c − 1) 

2 
 0 0 a(0) ··· a(k − 3) a(k − 2) a(k − 1) ··· A(c − 2) 

..  .. .. .. .. .. .. .. .. .. 
.

 . . . . . . . . . 

P = k−1 0 0 0 ··· a(0) a(1) a(2) ··· A(c + 1 − k)
 
 
k a(0) a(1) a(2) ··· a(k − 1) a(k) a(k + 1) ··· A(c)
 
 
k+1 a(0) a(1) a(2) ··· a(k − 1) a(k) a(k + 1) ··· A(c)
 
 
.. .. .. .. .. .. .. ..
 
 .. .. 
.  . . . . . . . . . 
c a(0) a(1) a(2) ··· a(k − 1) a(k) a(k + 1) ··· A(c)

Con:
∞
X e−λr · (λr)i
A(k) = P (N (r) ≥ k) =
i!
i=k

e−λr · (λr)k
a(k) = P (N (r) = k) =
k!
 d) Queremos:
c−1
X k−1
X c−1
X
F2 (c, c) = Pci · Pic = Pci · Pic + Pci · Pic
i=0 i=0 i=k
k−1
X c−1
X
= P (N (r) = i) · P (N (r) ≥ c − i) + P (N (r) = i) · P (N (r) ≥ c)
i=0 i=k
∞
k−1
! c−1  −λr ∞  −λr
e−λr · (λr)i X e−λr · (λr)h · (λr)i · (λr)h
 X 
X X e e
= · + ·
i=0
i! h! i! h!
h=c−i i=k h=c

e) F (0, 0) = 1, pues la cadena es de una sola clase recurrente positiva.

f) Para simplificar la notación, podemos definir el evento:
An = cae al menos una pieza al suelo entre las revisiones n y n + 1.
Para calcular P (An ) usamos probabilidades totales, condicionando en el estado del proceso de la n-ésima etapa:
c
X
P (An ) = P (An | Xn = i) · P (Xn = i)
i=0
k−1
X c
X
P (An ) = P (An | Xn = i) · P (Xn = i) + P (An | Xn = i) · P (Xn = i)
i=0 i=k
k−1
X c
X
P (An ) = P (N (r) > c − i) · P (Xn = i) + P (N (r) > c) · P (Xn = i)
i=0 i=k
k−1
X
P (An ) = P (N (r) > c − i) · P (Xn = i) + P (N (r) > c) · P (Xn ≥ k)
i=0
∞
k−1
! ∞
e−λr · (λr)h
 −λr
· (λr)h

X X X e
P (An ) = P (Xn = i) · + P (Xn ≥ k) ·
i=0
h! h!
h=c−i+1 h=c+1

g) Si las revisiones se realizan de acuerdo a un proceso de renovación, entonces los tiempos entre revisiones sucesivas
{T1 , T2 , . . .} son v.a. iid.

Como {M (t), t ≥ 0} es un proceso de Poisson y los tiempos entre revisiones sucesivas son variables aleatorias in-
dependientes, entonces las variables aleatorias M (T1 ), M (T2 + T1 ) − M (T1 ), M (T3 + T2 + T1 ) − M (T2 + T1 ), . . . son
variables independientes entre sı́ e independientes de cualquier otra variable aleatoria. Por esto se sigue cumpliendo la
propiedad markoviana.

Como {M (t), t ≥ 0} es un proceso de Poisson y los tiempos entre revisiones sucesivas son variables aleatorias idéntica-
mente distribuidas, entonces las variables aleatorias M (T1 ), M (T2 + T1 ) − M (T1 ), M (T3 + T2 + T1 ) − M (T2 + T1 ), . . .
son independientes e idénticamente distribuidas. Por esto se sigue cumpliendo la propiedad de estacionariedad.

Problema 5

Una empresa posee una planta de gran superficie, iluminada por tubos fluorescentes. Debido a la gran cantidad de ellos,
hay trabajadores especialmente encargados de la mantención del sistema de iluminación. Para ello, se emplea la polı́tica de
reemplazar siempre de un dı́a para otro los tubos que se encuentran quemados al fin de un dı́a cualquiera. El principal pro-
blema es que no es posible saber con exactitud cuándo se quemará un tubo. Expertos han comenzado a elaborar un modelo
probabilı́stico, definiendo como variable de estado el número de tubos que se encuentran en operación (buenos) al fin de un
dı́a cualquiera, n (con n entero no negativo). Hay que señalar que al fin de cada dı́a la planta se detiene y los tubos quedan
apagados hasta la mañana siguiente. La planta tiene t tubos en total (con t entero y t > 100). Si al fin de un dı́a cualquiera hay
(t − i) tubos quemados, en el transcurso del dı́a siguiente todos ellos serán reemplazados y, por lo tanto, al fin del dı́a siguiente
dichos tubos estarán funcionando con toda seguridad. Ahora bien, cada uno de los i tubos que se encuentran buenos al fin de
un dı́a cualquiera tiene una probabilidad p (0 < p < 1) de quemarse al dı́a siguiente. Esta probabilidad es independiente para
cada tubo funcionando en cada dı́a. Los tubos que se queman durante un dı́a cualquiera nunca son reemplazados durante ese
mismo dı́a, sino que deben esperar hasta el dı́a siguiente. Para las preguntas siguientes, emplee la variable de estado escogida
por los expertos y las observaciones recogidas por ellos.
a) Escriba una relación de recurrencia para el número de tubos buenos al fin de cada dı́a. Suponga que la planta trabaja
de la misma forma todos los dı́as de la semana.
b) Proponga un modelo de cadena de Markov que describa la evolución temporal del número de tubos buenos al fin de cada
dı́a. (Es necesario explicitar la matriz de probabilidades de transición en una etapa o las probabilidades de transición
en una etapa para todos los casos posibles).
Con el fin de hacer un pequeño estudio preliminar, considere ahora que t = 3, p = 0,2, y que al inicio del estudio todos los
tubos se encuentran en funcionamiento.
c) Para la cadena de Markov resultante, determine las clases de estados y clasifique los estados en transientes, recurrentes
nulos o positivos, y determine si son aperiódicos o periódicos (y el perı́odo).
d) Cálcule la probabilidad de que se observen todos los tubos quemados por primera vez al final del tercer dı́a de observación.
e) Cálcule la probabilidad de que, a partir de un cierto dı́a, todos los tubos se mantengan en buen estado durante los tres
dı́as siguientes.
f) Cálcule F (0, 2).

Solución

Sea Xn : número de tubos en operación al fin del dı́a n.

a) Sea Yn+1 una v.a. que representa el número de tubos que se queman en el dı́a n + 1. Entonces, Xn+1 = t − Yn+1 , donde
Yn+1 | Xn = i tiene distribución Binomial(i, p).
b) Dadas las suposiciones presentadas en el enunciado, puede decirse que el proceso {Xn , n = 0, 1, 2, . . .} es una cadena
de Markov en tiempo discreto. Los estados posibles son {0, 1, 2, . . . , t}. Las probabilidades de transición en una etapa
pueden encontrarse considerando que si al fin de un dı́a cualquiera hay i tubos buenos, para i = 0, 1, . . . , t la probabilidad
de que al fin del siguiente dı́a haya j tubos funcionando es:
 !
i
· pt−j · (1 − p)j−t+i , si j = t − i, t − i + 1, . . . , t


Pij = t−j

0 , en otros casos


Si se arma la matriz de probabilidades de transición en una etapa, resultará que todos los términos en que i + j < t
serán nulos.
c) Para este caso, la matriz de probabilidades de transición en una etapa es:
 
0 0 0 1
 0 0 0,2 0,8 
P = 0

0,04 0,32 0,64 
0,008 0,096 0,384 0,512

Esta cadena tiene una sola clase recurrente positiva aperiódica.

d) Se pide F3 (3, 0)

F3 (3, 0) = P31 · F2 (1, 0) + P32 · F2 (2, 0) + P33 · F2 (3, 0)

= 0,096 · (P13 · P30 ) + 0,384 · (P23 · P30 ) + 0,512 · (P33 · P30 )
= 0,096 · 0,64 · 0,008 + 0,384 · 0,64 · 0,008 + 0,512 · 0,512 · 0,008

e) La probabilidad pedida corresponde a P33 · P33 · P33 = 0,5123 .

f) Como todos los estados de la cadena pertenecen a una única clase recurrente positiva, se cumple que F (0, 2) = 1.

Problema 6

En una competencia, un robot debe construir un muro usando exactamente b bloques idénticos (con b entero y b > 10),
los que deben posicionarse de a uno de una forma predefinida (uno encima del otro formando una torre). Poner el primer
bloque es una tarea que el robot siempre realiza de forma exitosa al primer intento. Para el segundo bloque, el robot lo coloca
exitosamente (en un intento) con una probabilidad p. Si no lo logra, el primer bloque permanece en su lugar y el robot lo
intenta nuevamente (con la misma probabilidades), y ası́ sucesivamente. Cuando el muro tiene más de un bloque, el robot
logra agregar un nuevo bloque en un intento con probabilidad p y con probabilidad 1 − p falla, lo que significa que no solo no
agrega un bloque nuevo, sino que además bota el último bloque que habı́a colocado. El robot sigue intentando agregar bloques
con el objetivo de completar el muro. Suponga que 0,5 < p < 1 y que las probabilidades de tener éxito en cada intento son
independientes entre sı́. Lógicamente, el robot completa la prueba si logra colocar los b bloques en el muro.

Sea Xn el número de bloques que componen el muro tras n intentos (etapas) desde el inicio de la prueba (en consecuen-
cia, X0 = 0).
a) Utilizando Xn como variable de estado, formule una cadena de Markov en tiempo discreto que permita describir la
evolución del número de bloques colocados exitosamente en el muro. (Debe especificar el espacio de estados y las
probabilidades de transición para todos los casos posibles. Suponga que cada intento es una etapa en la evolución de la
cadena formulada).
 b) Clasifique los estados en transientes o recurrentes (nulos o positivos). Indique si hay clases periódicas, y el periodo, si
corresponde.
c) Determine el(los) valor(es) de z que es(son) solución óptima del siguiente problema de optimización:

mı́n z s.a. P (T (0, b) = z) > 0, z ∈ {0, 1, 2, . . .}

d) Si X2k = k con k entero y tal que 1 < k < b − 1, calcule la probabilidad de que el robot logre terminar el muro.

Solución
a) Cadena de Markov en tiempo discreto: {Xn , n = 0, 1, . . .}
Espacios de estados: {0, 1, 2, . . . , b − 1, b}
Probabilidades de transición en una etapa:

P01 = 1; P11 = 1 − p, P12 = p; Pi,i+1 = p, Pi,i−1 = 1 − p, i = 2, . . . , b − 1; Pbb = 1

El resto de las probabilidades de transición en una etapa es igual a 0.

b) Clases de estados:

{0} Transiente aperiódica

{1, 2, . . . , b − 1} Transiente aperiódica
{b} Recurrente positiva aperiódica

c) P (T (0, b) = z) > 0 para z = b, b + 1, . . . y P (T (0, b) = z) = 0 para z = 1, 2, . . . , b − 1. Por lo tanto, la solución óptima

es z ∗ = b.
d) Si X2k = k, con 1 < k < b − 1, la probabilidad de que el robot logre terminar el muro es F (k, b) = 1, pues la cadena
definida tiene una única clase recurrente positiva que está compuesta por un estado, b, que representa el término de la
construcción del muro y que es accesible desde cualquiera de los demás estados de la cadena, que son transientes.

Problema 7

Considere una cadena de Markov en tiempo discreto con espacio de estados {0, 1, 2, 3, 4, 5, 6, 7, 8, 9} y matriz de probabili-
dades de transición dada por:
0 1 2 3 4 5 6 7 8 9
 
0 0 0,1 0 0,2 0 0,3 0 0 0,1 0,3
1 
 0 0,8 0 0 0 0 0 0 0 0,2 

2 
 0,5 0 0,3 0 0 0 0 0,2 0 0 

3 
 0 0 0 1 0 0 0 0 0 0 

4 
 0 0 0,2 0 0 0 0 0,8 0 0 

5 
 0 0,4 0 0,1 0 0,5 0 0 0 0 

6 
 0,3 0 0 0 0 0 0,7 0 0 0 

7 
 0 0 0,6 0 0,2 0 0 0,2 0 0 

8  0 0 0 0 0 0 0 0 1 0 
9 0 0,5 0 0 0 0 0 0 0 0,5
a) Determine las clases de estados, clasifique los estados en transientes o recurrentes (positivos o nulos), y determine si
son aperiódicos o periódicos, y el valor del periodo, cuando corresponda.
b) Calcule F2 (7, 2).
c) Calcule P (T (0, 3) = 3).
d) Determine F (2, 3).
e) Determine F (5, 9).
T
f) Suponga que f (5) =

0 0,2 0 0 0 0 0,8 0 0 0 .
Calcule la probabilidad de que en la etapa 8, el sistema esté en el estado 8.
Calcule la probabilidad de que en la etapa 7, el sistema esté en el estado 1.
(3)
g) Calcule P51 .
h) Calcule E[T (1, 9)].
i) Calcule E[T (0, 9)].

Solución
 a) Clases:

{0} Transiente aperiódica

{1, 9} Recurrente positiva aperiódica
{2, 4, 7} Transiente aperiódica
{3} Recurrente positiva aperiódica
{5} Transiente aperiódica
{6} Transiente aperiódica
{8} Recurrente positiva aperiódica

b) F2 (7, 2) = P77 · P72 + P74 · P42 = 0,2 · 0,6 + 0,2 · 0,2 = 0,16.
c) P (T (0, 3) = 3) = F3 (0, 3) = P05 · P55 · P53 = 0,3 · 0,5 · 0,1 = 0,015.
d) F (2, 3) = F (0, 3) , ya que {2, 4, 7} es una clase transiente cuya única salida es al estado 0.

Entonces:
F (2, 3) = F (0, 2) = P03 + P05 · F (5, 3) = 0,2 + 0,3 · 0,2 = 0,26.
e) F (5, 9) = F (0, 3) = P51 · F (1, 9) + P55 · F (5, 9) = 0,4 · 1 + 0,5 · F (5, 9)

Por lo tanto:
4
0,5 · F (5, 9) = 0,4 → F (5, 9) =
5
f) El f (5) nos dice que: P (X5 = 1) = 0,2, P (X5 = 6) = 0,8, P (X5 = i) = 0 para i 6= 1, 6.
Usamos probabilidades totales:

P (X8 = 8) = 0,2 · P (X8 = 8 | X5 = 1) + 0,8 · P (X8 = 8 | X5 = 6)

= 0,2 · 0 + 0,8 · [P66 · P60 · P08 + P60 · P08 · P88 ]
= 0,8 · [0,7 · 0,3 · 0,1 + 0,3 · 0,1 · 1] = 0,0408
P (X7 = 1) = 0,2 · P (X7 = 1 | X5 = 1) + 0,8 · P (X7 = 1 | X5 = 6)
= 0,2 · [P11 · P11 + P19 · P91 ] + 0,8 · [P60 · P01 ]
= 0,2 · [0,8 · 0,8 + 0,2 · 0,5] + 0,8 · [0,3 · 0,1] = 0,172

g) Tenemos:
(3)
P51 = P55 · P55 · P51 + P55 · P51 · P11 + P51 · P11 · P11 + P51 · P19 · P91
= 0,5 · 0,5 · 0,4 + 0,5 · 0,4 · 0,8 + 0,4 · 0,8 · 0,8 + 0,4 · 0,2 · 0,5 = 0,556

h) Por argumento de renovación:

E[T (1, 9)] = P19 · 1 + P11 · (1 + E[T (1, 9)])
Por lo tanto:
1
E[T (1, 9)] =
0,2
i) Dado que existe una probabilidad mayor que 0 de no llegar nunca a 9:

E[T (0, 9)] = ∞

Problema 8

Los siguientes problemas son independientes.

a) Para una cadena de Markov en tiempo discreto, con estados {0, 1}, se sabe que
   
n n 0,6 0,4 n 0,4 −0,4
P = 1 · + 0,5 ·
0,6 0,4 −0,6 0,6
 
1
y que la distribución inicial del proceso (en la etapa 0) está dada por .
0
(3)
Calcule P01 .
Calcule F3 (0, 1).
Calcule la distribución del proceso en la etapa 2.
 b) Considere una cadena de Markov en tiempo discreto con espacio de estados {1, 2, . . . , n}. Demuestre que la suma de los
elementos de una fila cualquiera de la matriz de transición en dos etapas, P (2) , es igual a 1.

Solución

a) Tenemos:
Se tiene:
4 4
       
0,6 0,4 1 0,4 −0,4 0,6 0,4 − 80
P3 = + · = + 80
6 6
0,6 0,4 8 −0,6 0,6 0,6 0,4 − 80 80
52 28
 
= 80 80
42 38
80 80

(3) 28 7
Por lo tanto: P01 = =
80 20
 
0,8 0,2
P =
0,3 0,7
Por lo tanto: F3 (0, 1) = 0,8 · 0,8 · 0,2 = 0,128
Tenemos:
1 1
       
0,6 0,4 1 0,4 −0,4 0,6 0,4 − 10
P2 = + · = + 10
3 3
0,6 0,4 4 −0,6 0,6 0,6 0,4 − 20 20
T T
Como f (0) = , necesitamos calcular solo la primera fila de P 2 , que es: 7 3
 
1 0 10 10
.
T
La distribución del proceso en la etapa 2 es: f (2) = 10
 7 3
10
.
b) Para todo i ∈ {1, 2, . . . , n} se cumple:
n
X n X
X n n
X n
X n
X
(2)
Pij = Pik · Pkj = Pik Pkj = Pik = 1
j=1 j=1 k=1 k=1 j=1 k=1

Problema 9

Usted y un amigo deciden jugar al siguiente juego con cuatro fichas. Se lanza una moneda al aire y si sale cara usted
recibe de su amigo una ficha, la que suma a su haber; por el contrario, si sale sello, usted debe entregar a su amigo todas
sus fichas. Cuando usted se queda sin fichas, su amigo le da una ficha para que pueda seguir el juego. Se lanza la moneda
nuevamente y, siguiendo las reglas recién descritas, usted recibe una ficha o entrega todas sus fichas, se vuelve a lanzar, y ası́
sucesivamente. El juego termina cuando usted logra llegar a tener las cuatro fichas, caso en el cual usted gana, o bien cuando
a usted se le acaban las fichas por tercera vez, caso en el cual usted pierde. Se emplea una moneda con la cual la probabilidad
de obtener cara es p, y sello, 1 − p (con 0 < p < 1). Los lanzamientos de la moneda son independientes entre sı́. Inicialmente,
usted tiene tres fichas y su amigo, una.
a) Modele este juego como una cadena de Markov en tiempo discreto. (Debe definir los estados y obtener la matriz de
probabilidades de transición en una etapa).
b) Calcule la probabilidad de que usted gane el juego.
c) Suponga que p = 0,48. En caso que usted gane, recibe 1.000 (unidades monetarias) de una fuente externa y su amigo
recibe 0. Si su amigo gana, usted recibe 0. ¿Qué valor monetario deberı́a recibir su amigo en tal caso para que en valor
esperado el juego sea igualmente atractivo para ambos?

Solución

a) Definimos los estados:

0: Usted se quedó sin fichas por tercera vez.
3: Estado inicial (usted tiene tres fichas).
ij: Usted tiene i fichas y se ha quedado sin fichas j veces. i = 1, 2, 3, j = 1, 2.
4: Usted tiene cuatro fichas (gana el juego).
 Matriz de transición de probabilidades:
 
0 1 0 0 0 0 0 0 0 0
3  0 0 1−p 0 0 0 0 0 p 

11  0 0 0 p 0 1−p 0 0 0 

21  0 0 0 0 p 1−p 0 0 0 

31  0 0 0 0 0 1−p 0 0 p 

12  1−p 0 0 0 0 0 p 0 0 

22  1−p 0 0 0 0 0 0 p 0 

32  1 − p 0 0 0 0 0 0 0 p 
4 0 0 0 0 0 0 0 0 1

b) Se busca calcular F (3, 4). Desarrollando esta expresión se obtiene: p + 2 · p3 − 2 · p4 − p6 + p7 .

c) Si p = 0,48, entonces la probabilidad de que usted gane el juego es aproximadamente 0.579. Entonces, su amigo debiera
0,579 579000
recibir aproximadamente 1000 · = para que el juego sea igualmente atractivo, en valor esperado, para
1 − 0,579 421
ambos.

Problema 10

Las siguientes preguntas son independientes entre sı́.

a) Considere una cadena de Markov en tiempo discreto con estados {1, 2, 3, 4} y la matriz de transición dada por:
 
1 0,1 0 0,9 0
2   0,1 0,5 0,1 0,3  
3  1 0 0 0 
4 0 0 0 1

Determine las clases y clasifı́quelas.

(n)
Calcule lı́mn→∞ P21 .
b) Considere una cadena de Markov en tiempo discreto con espacio de estados {1, 2, 3, 4, 5} y la matriz de probabilidades
de transición dada.
1 2 3 4 5
 
1 1 0 0 0 0
2   0 1 0 0 0 

3   0 0 0 0,8 0,2 

4  0 0,8 0,2 0 0 
5 0,2 0 0,8 0 0
(n)
Calcule lı́mn→∞ P41 .
(n)
Calcule lı́mn→∞ P43 .

Solución
a) Tenemos 3 clases:

{1, 3} Recurrente positiva aperiódica

{4} Recurrente positiva aperiódica
{2} Transiente aperiódica

Queremos:
(n) F (2, 1)
lı́m P21 =
n→∞ E{T (1, 1)}
donde:
2
F (2, 1) = 0,5 · F (2, 1) + 0,1 + 0,1 · F (3, 1) =
5
19
E{T (1, 1)} = 0,1 · 1 + 0,9 · 2 = 1,9 =
10
2
(n) 5 4
Por lo tanto: lı́m P21 = = .
n→∞ 19 19
10
 b) Se tiene:

(n)
lı́m P41 = F (4, 1) = 1 − F (4, 2)
n→∞

F (4, 2) = 0,8 + 0,2 · F (3, 2) (1)

F (3, 2) = 0,8 · F (4, 2) + 0,2 · F (5, 2) (2)
F (5, 2) = 0,8 · F (3, 2) (3)

Reemplazando (3) en (2):

20
F (3, 2) = 0,8 · F (4, 2) + 0,2 · 0,8 · F (3, 2) → F (3, 2) = · F (4, 2) (4)
21
(4) en (1):
20 84
F (4, 2) = 0,8 + 0,2 · · F (4, 2) → F (4, 2) =
21 85
Por lo tanto,
(n) 84 1
lı́m P41 = 1 − F (4, 2) = 1− =
n→∞ 85 85
(n)
lı́m P43 = 0, ya que el estado 3 pertenece a una clase transiente.
n→∞

Problema 11

Las siguientes preguntas son independientes entre sı́.

a) Proporcione un ejemplo de una cadena de Markov en tiempo discreto que tenga exactamente dos clases recurrentes
positivas periódicas (especifique la cadena y la matriz de probabilidades de transición). Use la mı́nima cantidad de
estados posible).
 b) Considere una cadena de Markov en tiempo discreto con un número finito de estados. Considere la siguiente afirma-
ción: ”Si la cadena está formada por una única clase de estados, entonces tiene una única distribución lı́mite tal que
(n)
lı́mn→∞ Pij = πj para cualquier par de estados i, j. Indique si la frase anterior es verdadera o falsa, justificando
claramente su respuesta.
c) Considere una cadena de Markov en tiempo discreto con estados {1, 2, 3} y la matriz de transición dada por:
 
1 p 1−p 0
2  a 1−a−b b 
3 0 1−q q
donde 0 < p, q, a, b < 1 y a + b < 1. Calcule la distribución de probabilidades de T (2, 2).

Solución
a) Cadena:

Matriz de transición de probabilidades:

1 2 3 4
 
1 0 1 0 0
2  1
 0 0 0 

3  0 0 0 1 
4 0 0 1 0
b) La afirmación es falsa, pues podemos tomar que esa única clase sea periódica, por ejemplo: En esta cadena podemos

(2n) (2n) (n)

ver que lı́mn→∞ P22 = 1 6= lı́mn→∞ P12 = 0, por lo tanto, no hay distribución lı́mite, pues lı́mn→∞ Pij depende
del estado inicial i.
c) Tenemos:

Hay una única clase: {1, 2, 3} Recurrente positiva aperiódica.

P {T (2, 2) = 1} = 1−a−b
P {T (2, 2) = 2} = a · (1 − p) + b · (1 − q)
P {T (2, 2) = 3} = a · p · (1 − p) + b · q · (1 − q)
P {T (2, 2) = i} = a · pi−2 · (1 − p) + b · q i−2 · (1 − q) , si i = 4, 5, 6, . . ..