You are on page 1of 38

1

CADENAS DE MARKOV

En los problemas de toma de decisiones, con frecuencia nos enfrentamos a situaciones que tienen
incertidumbre asociada a ellas. Esta incertidumbre proviene de la variacin inherente a las fuentes de esa
variacin que eluden el control o proviene de la inconsistencia de los fenmenos naturales. En lugar de
manejar esta variabilidad como cualitativa, puede incorporarse a un modelo matemtico y manejarse en
forma cuantitativa. Por lo general, este tratamiento puede lograrse si el fenmeno natural muestra un cierto
grado de regularidad, de manera que sea posible describir la variacin mediante un modelo probabilstico.

Este capitulo presenta modelos de probabilidad para procesos que evolucionan en el tiempo de una manera
probabilstica. Tales procesos se llaman procesos estocsticos. Despus de introducir brevemente los
procesos estocsticos generales en la primera seccin, el resto del captulo est dedicado a un tipo especial
de proceso, llamado Cadena de Markov. Las cadenas de Markov tienen la propiedad particular de que las
probabilidades que describen la forma en que el proceso evolucionar en el futuro dependen slo del estado
actual en que se encuentra el proceso y, por lo tanto, son independientes de los eventos ocurridos en el
pasado. Muchos procesos se ajustan a esta descripcin por lo que las cadenas de Markov constituyen una
clase de modelos probabilsticos de gran importancia y por lo tanto, se han aplicado con xito en reas tales
como educacin, mercadotecnia, servicios de salud, finanzas, contabilidad y produccin, entre otros.

1.1 QU ES UN PROCESO ESTOCSTICO?


Suponga que se observa una caracterstica de un sistema en un conjunto de puntos discretos del tiempo
(que llamaremos T = {0, 1, 2, , t, } y que no necesariamente son equidistantes) y la cual puede tomar en
cada uno de estos tiempos uno de un nmero finito de estados mutuamente excluyentes, etiquetados como
1, 2, , s1. Sea Xt el valor de la caracterstica del sistema en el tiempo t (Xt toma valores en el conjunto S =
{1, 2, , s}). En la mayor parte de los casos no se conoce Xt con certeza antes del tiempo t y por lo tanto se
puede considerar como variable aleatoria. As, un proceso estocstico de tiempo discreto y estado finito
no es ms que un conjunto indexado de variables aleatorias idnticamente distribuidas {Xt} sobre un
conjunto discreto T, las cuales toman valores en un conjunto S = {1, 2, 3, , s}, y el cual da una descripcin
de la relacin entre las variables aleatorias X0 , X1, X2, , Xt, . A continuacin se dan unos ejemplos de
procesos estocsticos de tiempo discreto.

Ejemplo 1.1 La ruina del jugador. En el tiempo 0 tengo $2000. En los tiempos 1, 2, participo en un
juego en el que solo puedo apostar $1000. Gano con probabilidad p, y pierdo con
probabilidad 1 - p. Mi meta es aumentar mi capital a $4000, y tan pronto como lo logre se
suspende el juego. El juego tambin se suspende si mi capital se reduce a $0.

Sea t el tiempo despus de terminada la t-sina partida y Xt la variable aleatoria que


representa el capital que poseo despus del juego cuando el tiempo es t, si es que lo hay.
As, los estados que puede tomar el sistema son:
Estado 0 Tener $0
Estado 1 Tener $1000
Estado 2 Tener $2000
Estado 3 Tener $3000
Estado 4 Tener $4000,

y por lo tanto S = {0, 1, 2, 3, 4}. Entonces se puede considerar que {Xt} es un proceso
estocstico de tiempo discreto. Ntese que X0 = 2 es una constante conocida, pero que X1 y
las dems Xt son aleatorias. Por ejemplo, X1 = 3 con probabilidad p y X1 = 1 con probabilidad
1 - p. Ntese que si Xt = 4, entonces Xt+1 y todas las dems Xt tambin sern iguales a 4.

1
Es indiferente si se inicia a etiquetar desde 1 o desde 0.
2

Igualmente, si Xt = 0, entonces Xt+1 y todas las dems Xt sern tambin cero. Por razones
obvias, a estos casos se les llama problema de la ruina del jugador.

Ejemplo 1.2 Una urna contiene dos bolas, las cuales se encuentran sin pintar. Se selecciona una bola al
azar y se lanza una moneda. Si la bola elegida no est pintada y la moneda produce cara,
pintamos la bola de rojo; si la moneda produce sello, la pintamos de negro. Si la bola ya est
pintada, entonces cambiamos el color de la bola de rojo a negro o de negro a rojo,
independientemente de si la moneda produce cara o sello. Para modelar este caso como
proceso estocstico, definimos a t como el tiempo despus que la moneda ha sido lanzada
por t-sina vez y se ha pintado la bola escogida. En cualquier tiempo se puede representar el
estado del sistema mediante el vector [u, r, b], donde u es el nmero de bolas sin pintar en la
urna, r el nmero de bolas rojas y b el de bolas negras. Luego los estados del sistema sern:
Estado 1 [2, 0, 0]
Estado 2 [1, 1, 0]
Estado 3 [1, 0, 1]
Estado 4 [0, 1, 1]
Estado 5 [0, 2, 0]
Estado 6 [0, 0, 2].

Se nos dice que X0 = [2, 0, 0]. Despus del primer lanzamiento una bola habr sido pintada
ya sea de rojo o de negro y el estado ser [1, 1, 0] o [1, 0, 1]. Por lo tanto, podemos asegurar
que X1 = [1, 1, 0] o X1 = [1, 0, 1]. Es claro que debe haber alguna relacin entre las Xt. Por
ejemplo, si Xt = [0, 2, 0], podemos asegurar que Xt+1 ser [0, 1, 1].

Ejemplo 1.3 Sea X0 el precio de una accin de la compaa de Computadoras CSL al principio de este
da hbil. Tambin, sea Xt el precio de esa accin al principio del t-simo da hbil en el
futuro. Es claro que si se conocen los valores de X0, X1, , Xt estos valores dicen algo
acerca distribucin de probabilidad de Xt+1; el asunto es: qu nos dice el pasado (los
precios de las acciones hasta el tiempo t) acerca de Xt+1? La respuesta a esta pregunta es
de importancia crtica en finanzas. Para mayores detalles, vase la siguiente seccin.

Ejemplo 1.4 Problema de inventarios. Una tienda de cmaras tiene en almacn un modelo especial
que se puede ordenar cada semana. Sean D1, D2, las demandas de este tipo de cmara
durante la primera, segunda, , t-sima semana, respectivamente. Suponga que las Dt son
variables aleatorias independientes e idnticamente distribuidas con distribucin de
probabilidad conocida. Sea Xt el nmero de cmaras que se tiene en el momento de iniciar
el proceso. El sbado en la noche la tienda hace un pedido que le entrega el lunes en el
momento de abrir la tienda. La tienda usa la siguiente poltica (s, S)2 para ordenar: Si el
nmero de cmaras en inventario al final de la semana es menor que s = 1 , ordena (hasta) S
= 3. De otra manera no coloca la orden. Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces {Xt} es un proceso estocstico. Los estados
posibles del proceso son:
Estado 0 Tener 0 cmaras en inventario al final de la semana
Estado 1 Tener 1 Cmara en inventario al final de la semana
Estado 2 Tener 2 cmaras en inventario al final de la semana
Estado 3 Tener 3 cmaras en inventario al final de la semana.

De hecho, es claro que las variables aleatorias Xt son dependientes y se pueden evaluar en
forma iterativa por medio de la expresin

2
Una poltica (s, S) es una poltica de revisin continua que consiste en ordenar hasta S unidades siempre que el nivel del inventario baje
de s (S s). Si el nivel de inventario es s o mayor que, no se ordena.
3

mx{( 3 Dt 1 ), 0} si X t 1
X t 1 (1)
mx{( X t Dt 1 ), 0} si X t 1

Se finalizar esta seccin con una explicacin breve de los procesos estocsticos de tiempo continuo. Un
proceso estocstico de tiempo continuo es simplemente un proceso estocstico en el que el estado del
sistema se puede examinar en cualquier tiempo y no slo en instantes discretos. Por ejemplo, se puede
considerar que el nmero de personas en un supermercado a los t minutos despus de abrir, es un proceso
estocstico de tiempo continuo. Los modelos en los que intervienen estos procesos se estudiaran ms
adelante. Como el precio de una accin se puede observar en cualquier tiempo, y no slo al abrir la bolsa,
este se puede considerar como proceso estocstico de tiempo continuo. Al considerarlo as, se ha podido
llegar a importantes resultados en la teora de finanzas, incluyendo la famosa frmula de Black-Scholes para
opcin de precio.

1.2 QU ES UNA CADENA DE MARKOV?


Es necesario hacer algunas suposiciones sobre la distribucin conjunta de X0, X1, para obtener resultados
analticos. Hay una suposicin que nos lleva a un tipo especial de procesos estocsticos de tiempo discreto
llamados cadenas de Markov. Para simplificar nuestra presentacin supondremos que en cualquier tiempo,
el proceso estocstico de tiempo discreto puede estar en uno de un nmero finito de estados identificados
por 1, 2, ,s.

DEFINICIN Un proceso estocstico de tiempo discreto es una cadena de Markov si para t = 0, 1, 2,


y todos los estados,
P X t 1 it 1|X t it ,X t 1 it 1 , ,X 1 i1 ,X 0 i0 P X t 1 it 1|X t it (2)

En esencia, la ecuacin (1) dice que la distribucin de probabilidad del estado en el tiempo t + 1 depende del
estado en el tiempo t (it) y no depende de los estados por los cuales pas la cadena para llegar a it, en el
tiempo t, es decir, el estado que tomar el sistema en el futuro inmediato solo depende del presente ms no
del pasado. La probabilidad condicional P X t 1 it 1|X t it se llama probabilidad de transicin, ya que el
sistema en perodo pasa del estado it+1 al estado it.

Adems, si para cualquier par de estados i y j ocurre P X t 1 j| X t i toma el mismo valor para todo t, se
dice que la cadena de Markov es estacionaria en el tiempo y se puede escribir:
P(Xt+1 = j | Xt = i) = P(X1 = j | X0 = i) = pij (3)

donde pij es la probabilidad de que dado que el sistema est en el estado i en el tiempo t, el sistema estar
en el estado j en el tiempo t + 1. Con frecuencia, en una cadena de Markov, a las pij, se les conoce con el
nombre de probabilidades de transicin estacionarias.

La Ecc. 2 indica que la ley de probabilidad que relaciona el estado tomado en el siguiente periodo con el
estado actual del sistema no cambia, o que permanece estacionaria, en el tiempo. Por este motivo, a
menudo se llama Hiptesis de estabilidad a la ecuacin (2). Toda cadena de Markov que cumple con la
Ecc. 2 se llama cadena estacionaria de Markov.

En la mayora de las aplicaciones, las probabilidades de transicin se presentan como una matriz P de
probabilidad de transicin s s. La matriz de probabilidad de transicin P se puede escribir como

p11 p12 p 1S
p p 22 p 2 S
P 21


p S1 pS2 p SS
4

Dado que el estado es i en el tiempo t, el proceso debe estar en algn lugar en el tiempo t + 1. Esto significa
que para cada i,
s

P( X
s

t 1 j | X t i) 1 o bien que p
j 1
ij 1
j 1

Tambin sabemos que cada elemento de la matriz P debe ser no negativo. Por lo tanto, todos los elementos
de la matriz de probabilidad de transicin son no negativos y adems, los elementos de cada rengln deben
sumar 1.

El estudio de las cadenas de Markov tambin necesita que se defina qi como la probabilidad de que la
cadena se encuentre en el estado i en el tiempo 0; en otras palabras, P(X0 = i) = qi. Al vector q = [q1, q2, , qs]
se le llama distribucin inicial de probabilidad de la cadena de Markov.

Ejemplo 2.1 La ruina del jugador (continuacin). Encuentre la matriz de transicin del Ejemplo 1.1.

Solucin Como la cantidad de dinero que tengo despus de t + 1 jugadas depende de los
antecedentes del juego slo hasta la cantidad de efectivo que tengo despus de t jugadas,
no hay duda que se trata de una cadena de Markov. Debido a que como las reglas del juego
no varan con el tiempo, tambin tenemos una cadena de Markov estacionaria. La matriz de
transicin es la siguiente:
Estado
0 1 2 3 4
0 1 0 0 0 0
1 1-p 0 P 0 0
P = 2 0 1-p 0 P 0
3 0 0 1-p 0 p
4 0 0 0 0 1

Si el estado es 0 o 4 no juego ms y, por lo tanto, el estado no puede cambiar; entonces p00 =


p44 = 1. Para los dems estados sabemos que, con probabilidad p, el estado del siguiente
periodo ser mayor que el estado actual en 1, y con probabilidad 1 - p, el estado del siguiente
periodo ser menor en 1 que el estado actual.

Una matriz de transicin se puede representar con una grfica en la que cada nodo
represente un estado y arc(i, j) represente la probabilidad de transicin pij. La Fig. 1 es una
representacin grfica de la matriz de probabilidad de transicin para este ejemplo.

Figura 1
Representacin grfica
de la matriz de
transicin para el
ejemplo de la ruina del
jugador

Ejemplo 2.2 (Continuacin) Determine la matriz de transicin del Ejemplo 1.2 de la seccin anterior.

Solucin Como el estado de la urna despus del siguiente lanzamiento de la moneda depende slo
del pasado del proceso hasta el estado de la urna despus del lanzamiento actual, se trata
de una cadena de Markov. Adems, las reglas no varan a travs del tiempo y por lo tanto
tenemos una cadena estacionaria de Markov. La matriz de transicin para el Ejemplo 1.2 es
la siguiente:
Estado
[0, 1, 1] [0, 2, 0] [0, 0, 2] [2, 0, 0] [1, 1, 0] [1, 0, 1]
[0, 1, 1] 0 0 0 0
5

[0, 2, 0] 1 0 0 0 0 0
[0, 0, 2] 1 0 0 0 0 0
P=
[2, 0, 0] 0 0 0 0
[1, 1, 0] 0 0 0
[1, 0, 1] 0 0 0

Para ver cmo se forma la matriz de transicin, determinaremos el rengln [1, 1, 0]. Si el
estado actual es [1, 1, 0], dadas las condiciones del problema, no es posible pasar a
cualquiera de los estados [0, 0, 2], [2, 0, 0] y [1, 1, 0] y por lo tanto la probabilidad de
transicin del estado [1, 1, 0] a cualquiera de estos estados es cero. Ahora bien, si el estado
es [1, 1, 0] para alcanzar el estado [0, 2, 0] debe ocurrir que se escoge una bola sin pintar
(con probabilidad ) y que el resultado del lanzamiento de la moneda sea cara (con
probabilidad ), lo que da una probabilidad de . Pero si lo que ocurre es que se saca una
bola sin pintar (con probabilidad ) y el resultado del lanzamiento de la moneda es sello (con
probabilidad ) se alcanza el estado [0, 1, 1] con probabilidad . Finalmente, si se escoge la
bolla roja (con probabilidad de ), sin importar el resultado del lanzamiento de la moneda a
esta se le cambiar el color y se alcanza as el estado [1, 0, 1] con probabilidad . Lo
anterior se resume en la Tabla 1.

Tabla 1 EVENTO PROBABILIDAD ESTADO NUEVO


Clculos de las Sacar cara en el lanzamiento y escoger un a bola sin pintar [0, 2, 0]
probabilidades de
transicin si el estado Escoger bola roja [1, 0, 1]
actual es [1, 1, 0] Sacar cruz en el lanzamiento y escoger una bola sin pintar [0, 1, 1]

En la Fig. 2 se da una representacin grfica de esta matriz de transicin.

Figura 2
Representacin
grfica de la matriz
de transicin para el
ejemplo de la urna

Ejemplo 2.3 (Continuacin) En los ltimos aos, los estudiantes de finanzas han dedicado mucho
esfuerzo a contestar la pregunta de si el precio diario de una accin se puede describir
mediante una cadena de Markov. Supongamos que el precio diario de una accin, como el
de la compaa de computadoras CSL, se puede representar por una cadena de Markov.
Qu nos dice esto? Simplemente que la distribucin de probabilidad del precio de las
acciones maana depende slo del precio de hoy, pero no de los precios anteriores. Si el
precio de una accin se puede representar como cadena de Markov, los tablistas que
tratan de predecir los precios futuros sobre la base de los comportamientos seguidos durante
el pasado estn mal. Por ejemplo, supongan que el precio diario de una accin de CSL sigue
una cadena de Markov y el precio de hoy es 50 dlares. Entonces, para predecir el precio de
maana no importa si el precio ha aumentado o disminuido durante cada uno de los ltimos
30 das. En cualquier caso, o en cualquier otro caso que pudiera haber conducido al precio
actual de 50 dlares, la prediccin del precio de maana se debe basar slo en el hecho de
que hoy el precio de esas acciones es de 50 dlares. En la actualidad, el consenso es que
para la mayor parte de las acciones, su cotizacin diaria se puede describir con una cadena
de Markov. A esta idea se le llama con frecuencia hiptesis del mercado eficiente.
6

Ejemplo 2.4 Problema de inventario (continuacin). Encontrar la matriz de transicin para el ejemplo
1.4, suponiendo que Dt tiene una distribucin de probabilidad Poisson con parmetro = 13.

Solucin Para obtener p00 es necesario evaluar P(Xt+1=0 | Xt=0). Si Xt=0, entonces Xt+1= mx{(3 Dt+1),
0}, segn la Ecc 1. Pero como Xt+1=0, 3 Dt+1 0 y por lo tanto Dt+1 3. As, p00= P(Dt+1 3) =
1 - P(Dt+1 2) = .080; y p10= P(Xt+1=0 | Xt=1) se puede obtener de una manera parecida. Si
Xt=1, entonces Xt+1= mx{(1 Dt+1), 0}. Pero como Xt+1=0, 1 Dt+1 0 y por lo tanto la
demanda debe ser 1 o ms. Por esto, p10= P(Dt+1 1) = 1 - P(Dt+1 = 0) = .632. Para encontrar
p21= P(Xt+1=1 | Xt=2), observe que Xt+1= mx{(2 Dt+1), 0} si Xt=2. En consecuencia, si Xt+1=1,
entonces la demanda durante la semana tiene que ser exactamente 1. Por lo tanto, p21=
P(Dt+1=1) = .368. Los elementos restantes se obtienen en forma similar, lo que lleva a la
siguiente matriz de transicin:
0 1 2 3
0 .080 .184 .368 .368
1 .632 .368 0 0
P
2 .264 .368 .368 0

3 .080 .184 .368 .368

La Fig. 3 muestra la representacin grfica de esta matriz de transicin.

Figura 3
Representacin grfica para
la matriz de transicin para
el problema de inventario.

PROBLEMAS

e x
Si x 0, 1, 2,
3
La distribucin Poisson esta dada por: P( X x) x!
0, en cualquier otro caso

7

GRUPO A tiene probabilidad x de descomponerse. Si se


1. En una ciudad, al 90% de los das soleados siguen descompone una mquina durante el da, se
das soleados, y al 80% de los das nublados manda a un taller de reparacin y estar
siguen das nublados. Con esta informacin trabajando despus que se descompuso. Por
modelar el clima de la ciudad como cadena de ejemplo, si una mquina se descompone durante el
Markov. da 3, estar trabajando al principio del da 5. Si se
hace que el estado del sistema sea el nmero de
2. Suponga que la probabilidad de lluvia maana es mquinas que trabajan al principio del da, formule
0.5 si hoy llueve y que la probabilidad de un da una matriz de probabilidad de transicin para este
claro (sin lluvia) maana es 0.9 si hoy est claro. caso.
Suponga adems que estas probabilidades no
cambian si tambin se proporciona informacin
sobre el clima de das anteriores a hoy.
GRUPO B
a) Explique por qu las suposiciones
establecidas implican que la propiedad 6. En relacin con el problema 1, suponga que el
markoviana se cumple para la evolucin del tiempo de maana en la ciudad depende del
clima. tiempo que haya prevalecido los ltimos dos das,
b) Formule la evolucin del clima como una como sigue: (1) Si los ltimos dos das han sido
soleados, entonces el 95% de las veces maana
cadena de Markov definiendo sus estados y
dando su matriz de transicin (de un paso). ser soleado. (2) Si ayer estuvo nublado y hoy
soleado, entonces el 70% de veces maana estar
3. Considere que si el precio de una accin sube o no soleado. (3) Si ayer estuvo soleado y hoy est
maana depende de si subi o no hoy y ayer. Si la nublado, entonces el 60% de las veces maana
accin subi hoy y ayer, maana subir con estar nublado. (4) Si los ltimos dos das fueron
probabilidad 1. Si la accin subi hoy y ayer baj, nublados, entonces el 80% de las veces maana
maana subir con probabilidad 2. Si la accin ser nublado.
baj hoy y ayer subi, la probabilidad de que suba
Con esta informacin modele el clima de la ciudad
maana es 3. Por ltimo, si la accin baj hoy y como cadena de Markov. Si el tiempo de maana
ayer, la probabilidad de que suba maana es 4. dependiera del de los ltimos tres das, cuntos
Modele esta situacin como una cadena de Markov estados se necesitaran para modelar el clima
y determine la matriz de transicin de un paso. como cadena de Markov? Nota: El mtodo que se
4. Reconsidere el problema 3. Suponga ahora que el usa en este problema se puede aplicar para
hecho que la accin suba maana depende de si modelar un proceso estocstico de tiempo discreto
subi o no hoy, ayer y antier. Puede este como cadena de Markov, aun si Xt+1 depende de
problema formularse como una cadena de Markov? los estados anteriores a Xt, tal como Xt-1 en este
Si se puede, cules son los estados posibles? ejemplo.
Explique por qu estos estados dan al proceso la 7. En el Prob. 3, suponga que una mquina que se
propiedad markoviana mientras que si definen descompone regresa al servicio tres das despus.
como se hizo para los estados en el problema Por ejemplo, la mquina que se descompone
anterior esto no ocurre. durante el da 3 estar trabajando al principio del
5. Una fbrica tiene dos mquinas. Durante cualquier da 6. Determine una matriz de transicin de
da, cada mquina que trabaja al principio del da probabilidad para este caso.

1.3 PROBABILIDADES DE TRANSICIN DE n ETAPAS


Suponga que estudiamos una cadena de Markov con matriz P de probabilidad de transicin conocida. Como
todas las cadenas con las que trataremos son estacionarias, no nos importar identificar nuestras cadenas
de Markov como estacionarias. Una pregunta de inters es: si una cadena de Markov est en el estado i en
el tiempo t, cul es la probabilidad que n perodos despus la cadena de Markov est en el estado j? Como
se trata de una cadena de Markov estacionaria, esta probabilidad ser independiente de t y, por lo tanto,
podemos escribir
P(Xt+n = j | Xt = i) = P(Xn = j | X0 = i) = Pij(n)

donde pij(n) se llama probabilidad en la etapa n de una transicin del estado i al estado j.

Es claro que pij(1) = pij. Para determinar pij(2) ntese que si el sistema se encuentra hoy en el estado i,
entonces para que el sistema termine en el estado j dentro de 2 periodos, debe pasar del estado i al estado
k y despus pasar del estado k al estado j (Fig. 3). Este modo de razonar nos permite escribir
8

k s
p ij (2) (probabili dad de transicin de i a k )( probabilid ad de transicin de k a j )
k 1

De acuerdo con la definicin de P, la matriz de probabilidad de transicin, replanteamos la ltima ecuacin


en la siguiente forma:
K s
p ij (2) p ik p kj (4)
k 1

El segundo miembro de la ecuacin (3) es tan slo el producto escalar del rengln i de la matriz P por la
columna j de esa matriz. Por lo tanto, pij(2) es el ij-simo elemento de la matriz P2. Generalizando este modo
de razonar, se puede demostrar que para n > 1,
Pij(n) = elemento ij-simo de Pn (5)

La Ecc. 4 es conocida como Ecuacin de ChapmanKolmogorov.

Figura 4
pij(2) = pi1 p1j + pi2 p2j +
+ pispsj

Naturalmente, para n = 0, pij(0) = P(X0 = j | Xo = i) y, por lo tanto, debemos escribir


1 si j i
p ij (0)
0 si j i

En el Ejem. 3.1 mostraremos el uso de la ecuacin (5).

Ejemplo 3.1 Ejemplo de Cola. Suponga que toda la industria de refrescos produce dos colas. Cuando
una persona ha comprado la cola 1, hay una probabilidad de 90% de que su siguiente
compra sea de cola 1. Si una persona compr cola 2, hay 80% de probabilidades que su
prxima compra sea de cola 2.
1. Si actualmente una persona es comprador de cola 2, cul es la probabilidad que compre
cola 1 pasadas dos compras a partir de hoy?
2. Si en la actualidad una persona es comprador de cola 1, cul es la probabilidad que
compre cola 1 pasadas tres compras a partir de ahora?

Solucin Consideraremos que las compras de cada una de las personas son una cadena de Markov,
y que el estado en cualquier momento es el tipo de cola que compr la persona por ltima
vez. Por lo tanto, las compras de cola por parte de cada una de las personas se pueden
representar con una cadena de Markov de dos estados donde
Estado 1 = la persona acaba de comprar cola 1
Estado 2 = la persona acaba de comprar cola 2

Si definimos Xn como el tipo de cola que compra una persona en la n-sima compra futura (la
compra actual = X0), entonces X0, X1, se pueden describir como una cadena de Markov
con la siguiente matriz de transicin:
9

1 2
1 0.90 0.10
P=
2 0.20 0.80

Podemos contestar ahora las preguntas 1 y 2.

1. Se busca P(X2 = 1 | X0 = 2) = p21(2) = elemento 21 de P2:


0.90 0.10 0.90 0.10 0.83 0.17
P2
0.20 0.80 0.20 0.80 0.34 0.66

Por lo tanto, p21(2) = 0.34. Esto significa que hay probabilidad 0.34 de que la persona que
compra cola 2 compre cola 1, despus de dos compras a partir de ahora. Con la teora
bsica de probabilidad, podemos obtener esta respuesta siguiendo un camino distinto (Fig.
4). Ntese que p21(2) = (probabilidad que la siguiente compra sea cola 1 y la segunda sea
cola 1) + (probabilidad que la siguiente compra sea cola 2 y la segunda sea cola 1) = p2Ip11 +
p22p21= (0.20)(0.90) + (0.80)(0.20) = 0.34.

Figura 5
Probabilidad de que a
dos periodos a partir de
ahora, un comprador de
cola 2 compre cola 1.

2. Buscamos p11(3) = elemento 11 de P3:


0.90 0.10 0.83 0.17 0.781 0.219
P 3 P(P 2 )
0.20 0.80 0.34 0.66 0.438 0.562
Por lo tanto, p11(3) = 0.781.

En muchos casos conocemos el estado de la cadena de Markov en el tiempo 0. Como se defini en la Secc.
1.2, sea qi la probabilidad que la cadena est en el estado i en el tiempo 0. Entonces podemos determinar la
probabilidad de que el sistema est en el estado i en el tiempo n mediante el siguiente razonamiento (Fig. 5):

Figura 6
Determinacin de la
probabilidad de estar en
el estado j en el tiempo
n cuando se desconoce
el estado inicial

Probabilidad de estar en el estado j en el tiempo n


10

is
(probabilidad de que el estado original sea i)
i 1
X (probabilidad de pasar de i a j en n transiciones)
is
q i p ij (n)
i 1

= q (columna j de Pn) (6)

donde q = [q1, q2, ..., qn].

Para mostrar el uso de la ecuacin (6) contestaremos la siguiente pregunta: supongamos que el 60% de toda
la gente toma hoy cola 1 y el 40% cola 2. A tres compras a partir de ahora, qu fraccin de los compradores
estar tomando cola 1? Como q = [.60, .40] y
q (columna 1 de P3) = probabilidad de que a tres compras a partir de este momento una
persona tome cola 1,

la probabilidad que se busca es


0.781
0.60 0.40 0.6438
0.438
Por lo tanto, a tres compras de este momento el 64% de las personas estar comprando cola 1.

Para mostrar el comportamiento de las probabilidades de transicin en n etapas para grandes valores de n,
hemos calculado algunas de las probabilidades transicin de n etapas para el ejemplo de la cola y se
muestran en la Tabla 2. Cuando n es grande, p11(n) y p21(n) son casi constantes y tienden a .67. Esto quiere
decir que para n grande, independientemente del estado inicial, hay una probabilidad de 0.67 de que una
persona compre cola 1. Igualmente, vemos que para n grande, tanto p12(n) como p22(n) son casi constantes y
tienden a 0.33. Esto significa que para n grande, haciendo caso omiso del estado inicial, hay una
probabilidad 0.33 de que una persona sea comprador de cola 2. En la Secc. 1.5 estudiaremos con
detenimiento estas tendencias de probabilidad de transicin en la etapa n.

Tabla 2 n P11(n) P12(n) P21(n) P22(n)


Probabilidades de
transicin en n etapas 1 0.90 0.10 0.20 0.80
para el ejemplo de Cola 2 .83 0.17 0.34 0.66
3 .078 0.22 0.44 0.56
4 0.75 0.25 0.51 0.49
5 0.72 0.28 0.56 0.44
10 0.68 0.32 0.65 0.35
20 0.67 0.33 0.67 0.33
30 0.67 0.33 0.67 0.33
40 0.67 0.33 0.67 0.33

PROBLEMAS
GRUPO A el 4% de las familias rurales pasan a una zona
1. Cada familia colombiana se puede clasificar como urbana y el 6% se mudan a una zona suburbana.
habitante de zona urbana, rural o suburbana. (a) Si una familia actualmente vive en una zona
Durante un ao determinado, el 15% de todas las urbana, cul es la probabilidad que despus
familias urbanas se cambian a una zona suburbana de 2 aos viva en zona urbana? En zona
y el 5% se cambian a una zona rural. Tambin, el suburbana? En zona rural?
6% de las familias suburbanas pasan a zona (b) Supongamos que en la actualidad el 40% de
urbana y el 4% se mudan a zona rural. Por ltimo, las familias viven en zona urbana, el 35% en
11

zona suburbana y el 25% en zona rural. dgito transmitido se registre con el valor opuesto al
Despus de dos aos, qu porcentaje de las final de la transmisin. Si X0 denota el dgito binario
familias colombianas vivir en zona urbana? que entra al sistema, X1 el dgito binario registrado
(c) Qu problemas se pueden presentar si este despus de la primera transmisin, X2 el dgito
modelo se usara para predecir la distribucin binario registrado despus de la segunda
futura de la poblacin en Colombia? transmisin, , entonces {Xt} es una cadena de
Markov.
2. Se pregunta lo siguiente acerca del Problema de la
ruina del jugador (Secc. 1 y Secc. 2). (a) Determine la matriz de transicin.
(a) Despus de jugar dos veces, cul es la (b) Disee un programa que permita encontrar la
probabilidad que tenga $3,000? Cul la de matriz de transicin de 10 pasos P(10). Use
que tenga $2,000? este resultado para identificar la probabilidad
(b) Despus de jugar tres veces, cul es la de que un dgito que entra a la red se registre
probabilidad que tenga $2,000? correctamente despus de la ltima
transmisin.
3. En el Ejem. 2.2, determine las siguientes (c) Suponga que la red se redisea para mejorar
probabilidades de transicin en n etapas: la probabilidad de la exactitud de una sola
(a) Despus de haber pintado 2 bolas, cul es la transmisin de 0.99 a 0.999. Repita el inciso (b)
probabilidad que el estado sea [0, 2, 0]? para encontrar la nueva probabilidad de que
(b) Despus de haber pintado tres bolas, cul es un dgito que entra a la red se registre
la probabilidad que el estado sea [0, 1, 1]? correctamente despus de la ltima
Trace un diagrama como el de la Fig. 5. transmisin.
4. Reconsidere el problema 2 de la seccin anterior. 6. Una partcula se mueve sobre un crculo por
(a) Encuentre la matriz de transicin de n puntos marcados 0, 1, 2, 3, 4 (en el sentido de las
transiciones P(n) para n = 2, 5, 10, 20. manecillas del reloj). La partcula comienza en el
(b) La probabilidad de que llueva hoy es 0.5. Use punto 0. En cada paso tiene una probabilidad de
los resultados del inciso (a) para determinar la 0.5 de moverse un punto en el sentido de las
probabilidad de que llueva dentro de n das, manecillas del reloj (0 sigue al 4) y una probabilidad
para n = 2, 5, 10, 20. de 0.5 de moverse un punto en el sentido opuesto.
5. Suponga que una red de comunicaciones transmite Sea Xn (n 0) la localizacin en el crculo despus
dgitos binarios, 0 o 1, en donde cada dgito se del paso n; {Xn} es entonces una cadena de
transmite 10 veces sucesivas. Durante cada Markov.
transmisin, la probabilidad de que ese dgito se (a) Encuentre la matriz de transicin.
transmita correctamente es de .99. En otras (b) Use el programa hecho en el problema
palabras, se tiene una probabilidad de .01 de que el anterior para determinar la matriz de transicin
P(n) para n = 5, 10, 20, 40, 80.

1.4 CLASIFICACIN DE ESTADOS EN UNA CADENA DE MARKOV


En la Secc. 1.3 se mostr que despus de muchas transiciones, las probabilidades de transicin de n etapas
tienden a estabilizarse. Antes de poder describir esto con ms detalle, necesitamos estudiar cmo los
matemticos clasifican los estados de una cadena de Markov. La siguiente matriz de transicin se usar
para mostrar la mayora de las definiciones siguientes (Fig. 6):
0.4 0.6 0 0 0
0.5 0.5 0 0 0

P 0 0 0.3 0.7 0

0 0 0.5 0.4 0.1
0 0 0 0.8 0.2

DEFINICIN Dados dos estados i y j, la trayectoria de i a j es la sucesin de transiciones que


comienza en i y termina en j, de modo que cada transicin de la secuencia tenga
probabilidad positiva de presentarse.
12

Figura 7
Representacin grfica
de la matriz de
transicin

DEFINICIN Un estado j es alcanzable desde un estado i si hay una trayectoria que vaya de i a j , es
decir, si para algn n 1, pij(n) > 0.

Entonces, que el estado j sea alcanzable desde el estado i significa que es posible que el sistema llegue
eventualmente al estado j si comienza en el estado i.

DEFINICIN Se dice que dos estados i y j se comunican si j es alcanzable desde i, e i es alcanzable


desde j.

Para la matriz P de probabilidad de transicin representada en la Fig. 6, el estado 5 es alcanzable desde el


estado 3 (a travs de la trayectoria 345), pero el estado 5 no es alcanzable desde el estado 1 (no hay
trayectoria que vaya de 1 a 5 en la Fig. 6). Tambin, los estados 1 y 2 se comunican: podemos pasar de 1 a
2 y de 2 a 1.

DEFINICIN Un conjunto de estados S en una cadena de Markov es conjunto cerrado si ningn


estado fuera de S es alcanzable desde un estado en S.

De la cadena de Markov con la matriz P de la Fig. 6, tanto S1 = {1, 2} como S2 = {3, 4, 5} son conjuntos
cerrados. Observe que una vez que entramos a un conjunto cerrado no podemos dejarlo nunca. En la Fig. 6
ningn arco comienza en S1 y termina en S2 o principia en S2 y termina en S1. Es evidente que todos los
estados de un conjunto cerrado se comunican y por lo tanto estos no son ms que clases de equivalencia
inducidas por la relacin de comunicacin.

DEFINICIN Una cadena de Markov es irreducible si todos sus estados pertenecen al mismo
conjunto cerrado.

Lo anterior significa que todos los estados de la cadena pertenecen a la misma clase de equivalencia
inducida por la relacin de comunicacin y por lo tanto todos sus estados se comunican. El problema de
inventario corresponde a una cadena de Markov irreducible (Fig. 3), ya que todos sus estados se comunican.

DEFINICIN Un estado i es estado absorbente si pii = 1

Siempre que entramos a un estado de absorcin, nunca lo podremos dejar. En el Ejem. 1, la ruina del
jugador, los estados 0 y 4 son absorbentes. Es natural que un estado absorbente sea un conjunto cerrado
que slo contenga un estado.

DEFINICIN Un estado i es estado transitorio si exite un estado j alcanzable desde i, pero el estado i
no es alcanzable desde el estado j.

En otras palabras, un estado i es transitorio si hay manera de dejar el estado i de tal modo que nunca se
regrese a l. En el ejemplo de la ruina del jugador, los estados 1, 2 y 3 son estados transitorios. Por ejemplo
13

(Fig. 1), desde el estado 2 es posible pasar por la trayectoria 234, pero no hay modo de regresar al
estado 2 desde el estado 4. Igualmente, en el Ejem. 2.1, [2, 0, 0], [1, 1, 0] y [1, 0, 1] son estados transitorios.
En la Fig. 2, hay una trayectoria desde [1, 0, 1] a [0, 0, 2], pero una vez que se hayan pintado ambas bolas,
no hay manera de regresar a [1, 0, 1].

Despus de un gran nmero de periodos, la probabilidad de encontrarse en cualquier estado de transicin i


es cero. Cada vez que entramos a un estado i de transicin, hay una probabilidad positiva de dejar i para
siempre y terminar en el estado j, descrito en la definicin de estado transitorio. As, al final, tenemos la
seguridad de entrar al estado j (y en ese caso nunca regresaremos al estado i). As, suponga que en el
Ejem. 2.2 nos encontramos en el estado transitorio [1, 0, 1]. Con probabilidad 1, la bola no pintada la
pintaremos finalmente y nunca regresaremos a ese estado [1, 0, 1] (Fig. 2).

DEFINICIN Si un estado no es transitorio, se llama estado recurrente.

En el Ejem. 2.1, los estados 0 y 4 son estados recurrentes (y tambin estados absorbentes 4). En el Ejem.
2.2, [0, 2, 0], [0, 0, 2] y [0, 1, 1] son estados recurrentes. Para la matriz de transicin de la Fig. 7 todos los
estados son recurrentes.

La recurrencia es una propiedad de clase, es decir, todos los estados de una clase (o conjunto cerrado) son
recurrentes o son transitorios. Entonces, todos los estados de una cadena de Markov de estado finito
irreducible son recurrentes

DEFINICIN Un estado i es peridico con periodo k >1 si k es el menor nmero tal que todas las
trayectorias que parten del estado i y regresan al estado i tienen una longitud mltiplo de
k. Si un estado recurrente no es peridico, se llama aperidico.

Al igual que la recurrencia es una propiedad de clase, tambin lo es la periodicidad. Esto es, si el estado i en
una clase tiene perodo k, todos los estados de esta clase (o conjunto cerrado) tienen perodo k.

Para la cadena de Markov cuya matriz de transicin es


0 1 0
Q 0 0 1
1 0 0

cada estado tiene periodo 3. Por ejemplo, si comenzamos en el estado 1, la nica manera de regresar a ese
estado es seguir la trayectoria 1231 durante, digamos, m veces (Fig. 8). Por lo tanto, cualquier regreso
al estado 1 tomar 3m transiciones, de modo que el estado 1 tiene periodo 3. Donde nos encontremos,
tenemos la seguridad de regresar all tres periodos despus.

Figura 8
Cadena peridica de
Markov con k = 3.

DEFINICIN Si todos los estados de una cadena son recurrentes, aperidicos y se comunican entre s,
se dice que la cadena es ergdica.

El ejemplo de la ruina del jugador no es cadena ergdica porque, por ejemplo, los estados 3 y 4 no se
comunican. El Ejem. 2 tampoco es una cadena ergdica porque, por ejemplo, [2, 0, 0] y [0, 1, 1] no se

4
Todo estado absorbente es recurrente. Lo contrario no es cierto.
14

comunican. El Ejem. 4, el ejemplo de la cola, es cadena ergdica de Markov. De las siguientes tres cadenas
de Markov, P1 y P3 son ergdicas y P2 no es ergdica.
12 12 0 0
13 23 0 1 1 14 1
2
1
4

0 0
P1 12 0 12 Ergdica P2 2 2 2 1 No ergdica P3 23 1
0 Ergdica
0 0 3 3 3
0 14 34 0 2
3
1
3
0 0 4 4
1 3

P2 no es ergdica porque hay dos clases cerradas de estados (la clase 1 = {1, 2} y la clase 2 = {3, 4}) y los
estados en clases diferentes no se comunican entre s.

Despus de las prximas dos secciones, la importancia del concepto presentado en esta seccin ser
aclarada.

PROBLEMAS
GRUPOA Tambin, para cada cadena, determine los estados
1. En el Ejem. 2.1, cul es el periodo de los estados recurrentes, transitorios y absorbentes.
1 y 3? .2 .8 0 0
0 .8 .2
0 0 .9 .1
2. La cadena de Markov de la Secc. 1.3, Prob. 1, es P1 .3 .7 0 P2
ergdica? .4 .5 .1 0
.4 .5 .1
3. Se tiene la siguiente matriz de transicin: 0 0 0 1
0 0 1 0 0 0 5. En la Serie Mundial de Pquer de 1980 participaron

0 0 0 0 0 1 54 jugadores. Cada uno de ellos comenz con
0 0 0 0 1 0 10000 dlares. Los juegos continuaron hasta que
P 1 1 1
uno de los jugadores gan todo el dinero de los
4 4 0 2 0 0 dems. Si se modelara esta Serie Mundial como
1 0 0 0 0 0
cadena de Markov, cuntos estados absorbentes
0 13 0 0 0 23 tendra esa cadena?
(a) Cules estados son transitorios? 6. Cul de las siguientes cadenas es ergdica?
(b) Cules estados son recurrentes? .7 0 0 .3
(c) Identifique todos los conjuntos cerrados de .4 0 .6
.2 .2 .4 .2
estados. P1 .3 .3 .4 P2
(d) Es ergdica esa cadena? .6 .1 .1 .2
0 .5 .5
4. Para cada una de las siguientes matrices. .2 0 0 .8
Determine si la cadena de Markov es ergdica.

1.5 PROBABILIDADES DE ESTADO ESTABLE Y TIEMPOS MEDIOS DE PRIMER PASAJE


En nuestra descripcin del ejemplo de Cola (Ejem. 4), encontramos que despus de largo tiempo, la
probabilidad de que la siguiente compra de una persona fuera de cola 1 tiende a 0.67, y la de que la compra
siguiente fuera de cola 2 a 0.33 (Tabla 2). Estas probabilidades no dependieron de si la persona era al
principio tomador de cola 1 o de cola 2. En esta seccin describiremos el importante concepto de
probabilidades de estado estable, el cual se puede usar para describir el comportamiento de una cadena de
Markov a largo plazo.

El resultado siguiente es vital para comprender las probabilidades de estado estable y el comportamiento a
largo plazo de cadenas de Markov.

TEOREMA 1 Sea P la matriz de transicin de una cadena ergdica de s estados5. Existe entonces un
vector 1 2 s tal que

5
Para ver por qu el teorema 1 no puede ser vlido para una cadena no ergdica, vanse los problemas 9 y 10 al final de esta seccin.
15

1 2 s
s
lim P n 1 2
n

1 2 s

Recuerde que el ij-simo elemento de Pn es pij(n). El teorema 1 establece que para cualquier estado inicial i,
lim pij (n) j
n

Observe que para n grande, Pn tiende a una matriz con renglones idnticos. Esto quiere decir que despus
de mucho tiempo, la cadena de Markov se estabiliza e, independientemente del estado inicial i, hay una
probabilidad j de que nos encontremos en el estado j.

El vector 1 2 s a menudo se llama distribucin de estado estable, o tambin distribucin


de equilibrio para la cadena de Markov. Cmo podemos encontrar la distribucin de probabilidades
estacionaria para una cadena dada cuya matriz de transicin es P? Segn el teorema 1, para n grande y
para toda i,
pij(n + 1) pij(n) j, (7)

Como pij(n + 1) = (rengln i de Pn)(columna j de P), podemos escribir


s
pij (n 1) pik (n) p kj (8)
k 1

Si n es grande, al sustituir la ecuacin (6) en la (7) se obtiene


s
j k p kj para j = 0, 1, , s (9)
k 1

En forma matricial, la ecuacin (8) se puede escribir como:


=P (9')

Desafortunadamente, el sistema de ecuaciones que especifica la ecuacin (8) tiene un nmero infinito de
soluciones, porque el rango de la matriz P siempre resulta 1. Para obtener valores nicos de
probabilidades de estado estable, note que para toda n y toda i,
pi1(n) + pi2(n) + ... + pis(n) = 1 (10)

Al hacer que n tienda al infinito en la Ecc. (9), obtenemos


1 + 2 + ... +s = 1 (11)

As, despus de reemplazar cualquiera de las ecuaciones (9) por (11), podemos usar el nuevo conjunto de
ecuacuines para despejar las probabilidades de estado estable.

Para mostrar cmo determinar las probabilidades de estado estable, las calcularemos para el Ejem. 4, de la
Cola. Recuerde que la matriz de transicin de ese ejemplo era
0.90 0.10
P
0.20 0.80

Entonces las ecuaciones (9) o (9) producen


0.90 0.10
1 2 1 2
0.20 0.80
16

1 = 0.901 + 0.202
2 = 0.101 + 0.802

Al reemplazar ha segunda ecuacin por la condicin 1 + 2 = 1, obtenemos el sistema


1 = 0.901 + 0.202
1 = 1 + 2

Al despejar 1 y 2, resulta que 1 = 2/3 y 2 = 1/3. Por lo tanto, despus de largo tiempo, hay probabilidad 2/3
de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona dada compre cola 2.

ANLISIS DE ESTADO TRANSITORIO


Un vistazo a la Tabla 2 muestra que para el Ejem. 3.1 se alcanza el estado estable, a dos cifras decimales,
slo despus de 10 transiciones. No se puede dar una regla general acerca de qu tan rpido alcanzan las
cadenas de Markov el estado estable, pero si P contiene muy pocos elementos que queden cerca de 0 o de
1, en general, se alcanza en forma muy rpida el estado estable. El comportamiento de una cadena de
Markov antes de alcanzar el estado estable se llama comportamiento transitorio (o a plazo corto). Para
estudiar el comportamiento transitorio de una cadena de Markov, tan slo se usan las frmulas para pij(n) de
las ecuaciones (4) y (5). Sin embargo es bueno saber que para n grande, las probabilidades de estado
estable describen con exactitud la probabilidad de encontrarse en un estado determinado.

INTERPRETACIN INTUITIVA DE LAS PROBABILIDADES DE ESTADO ESTABLE


Se puede dar una interpretacin intuitiva de las ecuaciones (8) de probabilidad de estado estable. Al restar
jpjj de ambos lados de (8) se obtiene

j (1 p jj ) k p kj (12)
k j

La ecuacin (11) dice que en el estado estable,


La probabilidad de que el sistema en una transicin determinada deje el estado j
= probabilidad de que en una transicin determinada entre al estado j (13)

Recurdese que en el estado estable, la probabilidad de que el sistema est en el estado j es j. Segn esa
observacin se concluye que
Probabilidad de que una transicin particular deje el estado j
= (probabilidad de que el periodo actual comience en j)
x (probabilidad de que la transicin actual deje j)
= j(1 pjj)
y
Probabilidad de que determinada transicin entre al estado j
= (probabilidad de que el periodo actual comience en k j)
k

x (probabilidad de que la transicin actual entre a j)


= k p kj
k j

Es aceptable la ecuacin (12). Si fuese violada para cualquier estado, entonces para un estado j el lado
derecho de (12) sera mayor que el lado izquierdo. Esto ocasionara una probabilidad de acumulacin en el
estado j y no existira una distribucin de estado estable. Se puede considerar que la ecuacin (12) dice que
en el estado estable, el flujo de probabilidad hacia cada estado debe ser igual al flujo de probabilidad que
sale de cada estado. Esto explica por qu las probabilidades de estado estable se llaman con frecuencia
probabilidades de equilibrio.

USO DE LAS PROBABILIDADES DE ESTADO ESTABLE PARA TOMAR DECISIONES


17

Ejemplo 4.1 Suponga, en el Ejem. 3.1, que cada cliente hace una compra de cola durante cualquier
semana (52 semanas = 1 ao). Suponga que hay 100 millones de clientes de cola. La
produccin de una unidad de venta de cola cuesta 1 dlar y se vende a 2 dlares. Una
empresa de publicidad garantiza, por 500 millones de dlares al ao, un decremento del 10%
al 5% de la fraccin de consumidores de cola 1, que se cambian a cola 2 despus de una
compra. Debe contratar a la empresa de publicidad la compaa que fabrica la cola 1?

Solucin En la actualidad, una fraccin 1 = 2/3 de todas las compras es de cola 1. Cada compra de
cola 1 le deja al fabricante 1 dlar. Como hay un total de 52(100,000,000) = 5,200,000,000 de
compras de cola cada ao, las ganancias actuales del fabricante de cola 1, al ao, son
2/3(5200000000) = 3466666667 dlares

La empresa de publicidad ofrece cambiar la matriz P a


0.95 0.05
P1
0.20 0.80

Para P1, las ecuaciones de estado estable se transforman en


1 = 0.951 + 0.202
2 = 0.051 + 0.802

Al reemplazar la segunda ecuacin por 1 + 2 = 1 y despejar, obtenemos 1 = 0.8 y 2 = 0.2.


En este caso, la ganancia anual de la productora de cola 1 ser
(.80)(5200000000) 500000000 = 3660000000 dlares

Por lo tanto, el fabricante de cola 1 debe contratar la agencia de publicidad.

TIEMPOS PROMEDIO DE PRIMER PASAJE


En una cadena ergdica, sea mij = nmero esperado de transiciones antes de alcanzar por primera vez el estado j, dado
que estamos actualmente en el estado i. mij se llama tiempo promedio de primer pasaje del estado i al estado j. En el
Ejem. 3.1, m12 sera el nmero esperado de botellas de cola que adquiere un comprador de cola 1, antes de comprar una
botella de cola 2.

Suponga que el sistema se encuentra ahora en el estado i. Entonces, puede suceder que pase en una transicin
directamente al estado j, con probabilidad pij, o que pase a cualquier estado k j, con probabilidad pik. En este ltimo
caso, se necesitar un promedio de 1 + mkj transiciones para pasar de i a j. Este modo de pensar indica que
mij p ij (1) [ p ik (1 m kj )] para j = 1, 2, , s
k j

mij pij pik pik mkj para j = 1, 2, , s


k j k j

Como
p ij p ik 1 ,
k j

podemos reformular la ltima ecuacin como


mij 1 p ik m kj para j = 1, 2, , s (14)
k j

Al resolver las ecuaciones lineales representadas en (14), podemos encontrar todos los tiempos promedios
de primer pasaje. Se puede demostrar que
1
mii
i
18

Con ello se puede simplificar el uso de las ecuaciones (14).

Para mostrar el uso de ellas, despejaremos los tiempos promedio de primer pasaje en el Ejem. 3.1.
Recordemos que 1 = 2/3 y que 2 = 1/3. Entonces
1 1
m11 2 1.5 y m22 1 3
3 3

Entonces (14) lleva a las dos ecuaciones siguientes:


m12 = 1 +p11m12 = 1 + 0.9m12, m21 = 1 + p22m21 = 1 + 0.8m21

Resolviendo esas ecuaciones encontrarnos que m12 = 10 y m21 = 5. Esto quiere decir que, por ejemplo, una
persona que haba tomado cola 1 tomar un promedio de diez botellas de refresco antes de cambiar a cola
2.

PROBLEMAS
GRUPOA estable.
1. Determine las probabilidades de estado estable 6. Este problema mostrar por qu las probabilidades
para el Prob. 1 de la Secc. 1.3. de estado estable se llaman a veces
2. En el problema de la ruina del jugador (Ejem. 3), probabilidades estacionarias. Sean 1, 2,..., s las
por qu no es razonable hablar de probabilidades probabilidades de estado estable para una cadena
de estado estable? ergdica con matriz P de transicin. Suponga
tambin que la cadena de Markov comienza en el
3. Para cada una de las siguientes cadenas de estado i con probabilidad i.
Markov, determine la fraccin de las veces, a largo (a) Cul es la probabilidad que despus de una
plazo, que se ocupar cada estado. transicin el sistema se encuentre en el estado
.8 .2 0 i? Sugerencia: Usar la Ecc. 8.
2 1 (b) Para cualquier valor de n (n = 1, 2,...), cul es
(a) 13 13 (b) 0 .2 .8
2 2 .8 .2 0 la probabilidad de que una cadena de Markov
se encuentre en el estado i despus de n
(c) Determine todos los tiempos promedio de transiciones?
primer pasaje del inciso (b). (c) Por qu a las probabilidades de estado estable
4. Al principio de cada ao, mi automvil est en se les llama a veces probabilidades
estacionarias?
buen, regular o mal estado. Un buen automvil
ser bueno al principio del ao siguiente, con 7. Se tienen dos acciones. Las acciones 1 siempre se
probabilidad .85, regular con probabilidad .10 y mal venden a 10 dlares o 20 dlares. Si hoy las
con probabilidad .05. Un automvil regular estar acciones 1 se venden a 10 dlares, hay una
regular al principio del ao siguiente con probabilidad 0.80 de que maana se vendan a 10
probabilidad 0.70 y mal con probabilidad 0.30. dlares. Si las acciones 1 se venden hoy a 20
Cuesta 6000 dlares comprar un buen automvil, dlares, hay una probabilidad 0.90 de que maana
uno regular se puede conseguir por 2000 dlares; se vendan a 20 dlares. Las acciones 2 siempre
uno malo no tiene valor de venta, y se debe se venden a 10 dlares o a 25 dlares. Si se
reemplazar de inmediato por uno bueno. Cuesta venden hoy a 10 dlares, hay una probabilidad 0.90
1000 dlares al ao el funcionamiento de un buen de que se vendan maana a 10 dlares. Si se
automvil, y 1500 dlares el de uno regular. Debo venden hoy a 25 dlares, hay una probabilidad 0.85
reemplazar mi automvil tan pronto como se vuelve de que maana se vendan a 25 dlares. En
regular, o debo esperar hasta que se promedio, qu acciones se venden a mayor
descomponga? Suponga que el costo de precio? Determine e interprete todos los tiempos
funcionamiento de un automvil durante un ao promedio de primer pasaje.
depende del tipo de vehculo que se tiene a la
mano al principio del ao (despus de llegar GRUPO B
cualquier auto nuevo, si es el caso). 8. La compaa de seguros Payoff cobra a sus
clientes de acuerdo a su historia de accidentes. Un
5. Se dice que una matriz cuadrada es doblemente
cliente que no haya tenido accidentes durante los
estocstica si todos sus elementos son no ltimos dos aos paga 100 dlares de prima anual.
negativos y los elementos de cada rengln y cada
Quien haya tenido un accidente en cada uno de los
columna suman 1. Para cualquier matriz ergdica y
dos ltimos aos paga una prima anual de 400
doblemente estocstica, demuestre que todos los
dlares. A los que hayan tenido un accidente
estados tienen la misma probabilidad de estado
19

durante slo uno de los ltimos dos aos se les cadena. Sugerencia: Determine si es cierta la
cobra una prima anual de 300 dlares. Un cliente siguiente ecuacin:
que tuvo un accidente durante el ltimo ao tiene lim p12 (n) lim p32 (n)
n n
una probabilidad de 10% de accidentarse durante
este ao. Si un cliente no ha tenido un accidente (c) A pesar del hecho que falla el teorema 1,
durante el ltimo ao, tiene una probabilidad de 3% determine
de sufrir un accidente durante este ao. Durante un lim p13(n), lim p21(n),
N n
ao dado, cul es la prima que paga en promedio lim p43(n), lim p41(n)
un cliente de Payoff? (Sugerencia: En caso de n n

dificultad, pruebe con una cadena de Markov de


cuatro estados.) 10. Se tiene la siguiente cadena no ergdica
0 1 0
9. Se tiene la siguiente cadena no ergdica:
P 0 0 1
12 12 0 0 1 0 0
1 1
0 0
P 2 2 1 2 (a) Por qu esta cadena es no ergdica?
0 0 3 3 (b) Explique por qu el teorema 1 falla para esta
cadena. Sugerencia: Demuestre que no existe
0 0 3 3
2 1
lim p11(n) al hacer una lista del
n
(a) Por qu esta cadena es no ergdica?
(b) Explique por qu falla el teorema 1 en esta comportamiento que sigue P11(n) a medida que
aumenta n.

1.6 CADENAS ABSORBENTES


Muchas aplicaciones interesantes de las cadenas de Markov incluyen cadenas en las que algunos de los
estados son absorbentes y el resto son transitorios. A esas cadenas se les llama cadenas absorbentes.
Veamos una cadena absorbente de Markov: si comenzamos en un estado transitorio, entonces al final
tendremos la seguridad de dejar el estado transitorio y terminar en uno de los estados absorbentes. Para ver
por qu nos interesan las cadenas absorbentes, describiremos las siguientes dos situaciones:

Ejempl0 6.1 Cuentas por cobrar El estado de cuentas por cobrar en una empresa se modela con
frecuencia como cadena absorbente de Markov6. Suponga que una empresa supone que
una cuenta es incobrable si han pasado ms de tres meses de su fecha de vencimiento.
Entonces, al principio de cada mes, se puede clasificar cada cuenta en uno de los siguientes
estados especficos:

Estado 1 Cuenta nueva.


Estado 2 Los pagos de la cuenta estn retrasados un mes.
Estado 3 Los pagos de la cuenta estn retrasados dos meses.
Estado 4 Los pagos de la cuenta estn retrasados tres meses.
Estado 5 Se ha saldado la cuenta.
Estado 6 Se ha cancelado la cuenta por ser mal pagador

Supongamos que los ltimos datos indican que la siguiente cadena de Markov describe
cmo cambia el estado de una cuenta de un mes al siguiente:

Nueva 1 mes 2 meses 3 meses Pagada Incobrable


Nueva 0.0 0.6 0.0 .0.0 0.4 0.0
1 mes 0.0 0.0 0.5 0.0 0.5 0.0
2 meses 0.0 0.0 0.0 0.4 0.6 0.0
3 meses 0.0 0.0 0.0 0.0 0.7 0.3
Pagada 0.0 0.0 0.0 0.0 1.0 0.0
Incobrable 0.0 0.0 0.0 0.0 0.0 1.0

6
Este ejemplo se basa en Cyert, Davidson y Thompson (1963).
20

Por ejemplo, si al principio de un mes una cuenta lleva dos meses de vencida, hay 40% de
probabilidades de que no se pague al principio del mes siguiente y, por lo tanto, que tenga
tres meses de retraso y una probabilidad de 60% de que se pague.

Para simplificar el ejemplo, supondremos que despus de tres meses, la cuenta o se cobra o
se considera incobrable. Una vez que una deuda se paga o se considera incobrable, se
cierra y no se tienen ms transiciones. Por lo tanto, Pagada e Incobrable son estados
absorbentes. Como toda cuenta al final o se paga o se considera incobrable, las cuentas
Nueva, 1 mes, 2 meses y 3 meses son estados transitorios. Por ejemplo, una cuenta vencida
hace 2 meses puede seguir la trayectoria 2 meses pagada, pero no hay regreso posible de
Pagada a 2 meses.

Una cuenta nueva normal ser absorbida ya sea como pagada o como incobrable. Una
pregunta de mayor inters es: cul es la probabilidad de que una cuenta nueva finalmente
se pueda cobrar? Ms adelante en esta seccin se encontrar la respuesta.

Ejemplo 6.2 Planificacin de personal La empresa de abogados Mason y Burger emplea a tres
categoras de abogados: principiantes, con experiencia y socios. Durante un ao
determinado hay una probabilidad 0.15 que un abogado principiante sea ascendido a
abogado con experiencia y una probabilidad 0.05 que deje la empresa. Tambin, hay una
probabilidad 0.20 que un abogado con experiencia sea ascendido a socio y una probabilidad
0.10 que deje la empresa. Tambin hay una probabilidad 0.05 que un socio deje la empresa.
La empresa nunca degrada a un abogado.

Surgen muchas preguntas interesantes que la empresa podra contestar. Por ejemplo, cul
es la probabilidad que un abogado principiante recin contratado se vaya antes de ser
socio? En promedio, cunto tiempo permanece un abogado principiante recin contratado
con la empresa? Las respuestas se deducirn despus en esta seccin.

Modelaremos la trayectoria de un abogado en Mason y Burger como cadena absorbente de


Markov con la siguiente matriz de probabilidad de transicin:

Sale sin ser Sale siendo


Principiante Experimentado Asociado
socio socio
Principiante 0.8 0.15 0.00 0.05 0.00
Experimentado 0.00 0.70 0.20 0.10 0.00
Asociado 0.00 0.00 0.95 0.00 0.05
Sale sin ser socio 0.00 0.00 0.00 1.00 0.00
Sale siendo socio 0.00 0.00 0.00 0.00 1.00
Los dos ltimos estados son estados absorbentes y los dems son transitorios. Por ejemplo,
Experimentado es estado transitorio, porque hay una trayectoria de Experimentado a Sale
sin ser socio, pero no hay trayectoria que regrese de Sale sin ser socio a Experimentado.
Suponemos que una vez que un abogado sale de la empresa nunca regresa.

Para toda cadena absorbente se desea conocer: (1) Si la cadena comienza en un estado determinado
transitorio, y antes de alcanzar un estado absorbente, cul el nmero esperado de veces que se llegar a
otro estado transitorio?, o dicho de otra manera, cuntos periodos esperamos pasar por un determinado
estado transitorio antes que se efecte la absorcin, partiendo de otro estado transitorio? (2) Si una cadena
inicia en un estado transitorio dado, cul es la probabilidad terminar en cada uno de los estados
absorbentes?

Para contestar estas preguntes necesitamos formular la matriz de transicin con los estados en una lista con
el siguiente orden: primero los estados transitorios y despus los absorbentes. Para precisar, se supondr
que hay s m estados transitorios (t1, t2, . . ., ts-m) y m estados absorbentes (a1, a2, . . . , am). Entonces la matriz
de transicin para la cadena de absorcin puede escribirse como sigue:
s -m m
21

Columnas columnas
P= s - m renglones Q R
m renglones 0 I
En este formato, los renglones y las columnas de P corresponden, en orden, a los estados t1, t2,, ..., ts-m, a1, a2,
..., am. En este caso, I es una matriz identidad m x m que refleja el hecho de que nunca podemos dejar un
estado absorbente; Q es una matriz (s m) x (s m) que representa las transiciones entre los estados
transitorios; R es una matriz (s m) x m que representa las transiciones desde los estados transitorios a los
estados absorbentes; 0 es una matriz m x (s m) que consta de ceros. Esto refleja el hecho de que es
imposible ir de un estado absorbente a uno transitorio.

Aplicando esta notacin al Ejem. 6.1, tenemos que


t1 = Nueva
t2 = 1 mes
t3 = 2 meses
t4 = 3 meses
a1 = Pagada
a2 = Incobrable
Entonces, para ese ejemplo, la matriz de probabilidad de transicin se puede expresar como
Nueva 1 mes 2 meses 3 meses Pagada Incobrable
Nueva 0.0 0.6 0.0 0.0 0.4 0.0
1 mes 0.0 0.0 0.5 0.0 0.5 0.0
2 meses 0.0 0.0 0.0 0.4 0.6 0.0
3 meses 0.0 0.0 0.0 0.0 0.7 0.3
Pagada 0.0 0.0 0.0 0.0 1.0 0.0
Incobrable 0.0 0.0 0.0 0.0 0.0 1.0

Entonces s = 6, m = 2 y
0 0.6 0 0 0.4 0
0 0 0.5 0 0.5 0
Q R
0 0 0 0.4 0.6 0

0 0 0 0 4 4 0.7 0.3 42
Para el Ejem. 6.2, sean
t1 = Principiante
t2 = Experimentado
t3= Socio
a1 = Sale sin ser socio
a2 = Sale siendo socio
y podemos escribir la matriz de probabilidad de transicin como

Sale sin ser Sale siendo


Principiante Experimentado Asociado
socio socio
Principiante 0.80 0.15 0.00 0.05 0.00
Experimentado 0.00 0.70 0.20 0.10 0.00
Asociado 0.00 0.00 0.95 0.00 0.05
Sale sin ser
0.00 0.00 0.00 1.00 0.00
socio
Sale siendo
0.00 0.00 0.00 0.00 1.00
socio
22

Entonces s = 3, m = 2, y
0.80 0.15 0 0.05 0

Q 0 0.70 0.20
R 0.10 0
0 0 0.95 33 0 0.05 32

Podemos ahora investigar algunos hechos acerca de las cadenas absorbentes (Kemeny y Snell (1960)):

(1) Si la cadena comienza en un determinado estado transitorio, y antes de alcanzar un estado absorbente,
cul es entonces el nmero esperado de veces en las que el sistema entrar en cada estado
transitorio? Cuntos perodos esperamos pasar en un estado transitorio dado antes de que se lleve a
cabo la absorcin?
Respuesta: Si en este momento estamos en el estado transitorio ti, el nmero esperado de periodos que
pasarn en un estado transitorio tj antes de la absorcin es el ij-simo elemento de la matriz (I Q)-1.
Para una demostracin vea el Prob. 8 al final de esta seccin.

(2) Si una cadena inicia en un estado transitorio dado, qu probabilidad hay de terminar en cada uno de
los estados absorbentes?
Respuesta: Si en este momento estamos en un estado transitorio i, la probabilidad de ser absorbidos
finalmente por un estado absorbente aj es el ij-simo elemento de la matriz (I Q)-1R. Para una
demostracin vea el Prob. 9 al final de esta seccin.

La matriz (I Q)-1 a menudo se llama matriz fundamental de la cadena de Markov. El lector que se
interese en proseguir el estudio de cadenas de absorcin debe consultar Kemeny y Snell (1960).

Ejempl0 6.1 Cuentas por cobrar (continuacin)


1. Cul es la probabilidad que una cuenta nueva sea cobrada alguna vez?
2. Cul es la probabilidad que una cuenta atrasada un mes se vuelva finalmente
incobrable?
3. Si las ventas de la empresa son 100 000 dlares en promedio mensual cunto dinero
ser incobrable cada ao?

Solucin De la descripcin anterior, recuerde que


0 0.6 0 0 0.4 0
0 0 0.5 0 0.5 0
Q R
0 0 0 0.4 0.6 0

0 0 0 0 0.7 0.3
Entonces
1 0.6 0 0
0 1 0.5 0
I Q
0 0 1 0 .4

0 0 0 1

Usando el mtodo Gauss -Jordan llegamos a


t1 t2 t3 t4
t1 1 0.60 0.30 0.12
t2 0 1 0.50 0.20
( I Q ) 1
t3 0 0 1 0.40

t4 0 0 0 1
23

Para contestar las preguntas 1 a 3 necesitamos calcular


a1 a2
t1 0.964 0.036
t 0.940 0.060
( I Q ) 1 R 2
t3 0.880 0.120

t4 0.700 0.300
Entonces
1. t1 = Nueva, a1 = Pagada. As, la probabilidad de que una cuenta nueva se pague
finalmente es el elemento 11 de (I Q)-1R = 0.964.
2. t2 = 1 mes, a2 = Incobrable. Entonces, la probabilidad que una cuenta atrasada un mes
se vuelva incobrable es el elemento 22 de (I Q)-1R = 0.060.
3. De la respuesta 1, slo el 3.6% de todas las deudas son incobrables. Como las cuentas
totales del ao son 1200000 dlares en promedio, (0.036)(1200000) = 43200 dlares sern
impagables al ao.

Ejemplo 6.2 (continuacin) Planificacin del personal


1. Cul es la duracin promedio de un abogado joven recin contratado en la empresa?
2. Cul es la probabilidad de que un abogado joven llegue a ser socio?
3. Cul es la duracin promedio que pasa un socio en el bufete?

Solucin Recordemos que,


0.80 0.15 0 0.05 0
Q 0 0.70 0.20 R 0.10 0
0 0 0.95 0 0.05
Entonces,
0.20 0.15 0

I Q 0 0.30 0.20
0 0 0.05

Usando el mtodo Gauss - Jordan se encuentra que


t1 t2 t3
t1 5 2.5 10
( I Q) 1
t2 0 10 40
3 3

t3 0 0 20
Entonces,
a1 a2
t1 0.50 0.50
1
(I Q) R t 2 1 2
3 3

t3 0 1
Por lo tanto,

1. El tiempo esperado que un abogado principiante permanece en la empresa = (duracin


esperada del abogado principiante en la empresa como principiante) + (tiempo esperado
que el abogado principiante permanece en la empresa como abogado con experiencia) +
24

(tiempo esperado que el abogado principiante permanece en la empresa como socio).


Entonces
Tiempo esperado como principiante = (I Q) 111 = 5

Tiempo esperado como con experiencia = (I Q) 112 = 2.5

Tiempo esperado como socio = (I Q) 113 = 10


Por lo tanto, el tiempo total esperado que un abogado principiante permanece en la
empresa es 5 + 2.5 + 10 = 17.5 aos.

2. La probabilidad de que un abogado principiante recin ingresado llegue a ser socio es


tan slo la probabilidad de que salga de la empresa siendo socio. Como t1 = Principiante
y a2 = Sale siendo socio, la respuesta es el elemento 12 de (I Q)-1R = 0.50.

3. Como t3 = Socio, buscamos el nmero esperado de aos que pasa en t3, dado que
comenzamos en t3. Este es justamente el elemento 33 de (I Q)-1R = 20 aos. Es
razonable, porque durante cada ao hay una probabilidad en 20 que un socio deje el
bufete y, por lo tanto, debe tardar un promedio de 20 aos en dejar la empresa.

PROBLEMAS
GRUPO A los que se han suscrito por ms de dos aos, el 4%
cancelan durante cualquier ao dado. En
1. El departamento de admisin del colegio estatal ha promedio, cunto tiempo se suscribe una persona
modelado la trayectoria de un estudiante en esa al Herald Tribble?
institucin como cadena de Markov:
3. Un bosque consta de dos tipos de rboles: los que
tienen de 0 a 1.50 m de alto, y los que son ms
altos. Cada ao, muere el 40% de los rboles que
tienen menos de 1.50 m, el 10% se venden a 20
dlares cada uno, 30% permanecen entre 0 y 1.50
1er 2o 3er 4o Sal Ter m, y el 20% crecen ms de 1.50 m. Cada ao, el
50% de los rboles de ms de 1.50 m se venden a
1er ao .10 .80 0 0 .10 0
50 dlares, el 20% se venden a 30 dlares, y el 30%
2o ao 0 .10 .85 0 .05 0 permanecen en el bosque.
3er ao 0 0 .15 .80 .05 0 (a) Cul es la probabilidad de que muera un
rbol de 0 a 1.50 m antes de venderse?
4o ao 0 0 0 .10 .05 .85
(b) Si se planta un rbol de menos de 1.50 m,
Sale 0 0 0 0 1 0 cul es el ingreso esperado que se va a tener

Termina 0 0 0 0 0 1 con ese rbol?
Se observa el estado de cada estudiante al 4. Las cadenas absorbentes de Markov se usan en
principio de cada semestre de otoo. Por ejemplo, ventas para modelar la probabilidad de que un
si un estudiante es de 3er ao al principio de este cliente que se localiza por telfono compre
semestre de otoo, habr 80% de probabilidades finalmente algn producto. Considere un cliente
de que al principio del siguiente semestre de otoo posible a quien nunca le ha llamado acerca de
sea de cuarto ao, 15% de probabilidad de que an comprar un producto. Despus de una llamada,
sea de 3er ao y 5% de que salga. Suponemos que hay una probabilidad de 60% de que tenga poco
una vez que sale un estudiante ya nunca vuelve a inters en el producto, de 30% que muestre un gran
inscribirse. inters en el producto, y 10% de que sea borrado
(a) S un estudiante entra al colegio a primer ao, de la lista de los posibles clientes de la compaa.
cuntos aos se espera que pasen siendo Se tiene un cliente que actualmente tiene poco
estudiante? inters en el producto. Despus de otra llamada,
(b) Cul es la probabilidad de que se grade un hay 30% de probabilidades de que compre el
estudiante de nuevo ingreso? producto, 20% de probabilidades de que sea
2. El Herald Tribble obtuvo la siguiente informacin borrado de la lista, 30% de que el cliente an tenga
acerca de sus suscriptores: durante el primer ao poco inters y 20% de que exprese un inters alto.
como suscriptores, el 20% cancelan sus Para un cliente que actualmente expresa alto
suscripciones. De los que se han suscrito por un inters, despus de otra llamada hay 50% de
ao, el 10% cancelan durante el segundo ao. De probabilidades de que compre el producto, 40% de
25

probabilidades de que siga teniendo gran inters y (b) Bajo el sistema anterior y bajo el GRP, calcule
10% de probabilidades que tenga poco inters. el nmero esperado de meses que pasa un
(a) Cul es la probabilidad de que un nuevo paciente en el hospital.
posible cliente al final compre el producto?
(b) Cul es la probabilidad de que un posible 7. Freezco, Inc., vende refrigeradores. La fbrica
cliente con poco inters sea borrado de la lista otorga una garanta en todos los refrigeradores que
finalmente? especifica de cambio gratis de cualquier unidad
(c) En promedio, cuntas veces habr que que se descomponga antes de tres aos. Se nos
da la siguiente informacin: (1) el 3% de todos los
llamar por telfono a un nuevo posible cliente
para que compre el producto, o para que sea refrigeradores nuevos falla durante su primer ao
de funcionamiento; (2) el 5% de todos los
borrado de la lista?
refrigeradores con 1 ao de funcionamiento falla
GRUPO B durante el segundo ao de trabajo, y (3) el 7% de
5. En el problema de la ruina del jugador (Ejem. 1), todos los refrigeradores con dos aos de
suponga que p = 0.60. funcionamiento falla durante su tercer ao. La
(a) Qu probabilidad hay de que alcance a ganar garanta no vale para el refrigerador de repuesto.
4 dlares? (a) Use la teora de cadenas de Markov para
(b) Cul es la probabilidad de que salga sin predecir la fraccin de todos los refrigeradores
dinero? que deber cambiar Freezco.
(c) Cul es la duracin esperada del juego? (b) Suponga que a Freezco le cuesta 500 dlares
cambiar un refrigerador y que vende 10,000
6. En el cuidado de pacientes ancianos en un hospital refrigeradores al ao. Si la fbrica redujera el
psiquitrico, una meta principal es la colocacin plazo de garanta a dos aos, cunto dinero
correcta de los pacientes en pensiones u se ahorrara en costos de reemplazo?
hospitales para ancianos. El movimiento de
pacientes entre el hospital, los hogares externos y 8. Para una matriz Q que represente las transiciones
el estado absorbente (la muerte) se puede describir entre estados transitorios en una cadena
mediante la siguiente cadena de Markov. La unidad absorbente de Markov, se puede demostrar que
de tiempo es un mes: (I Q)-1 = I + Q + Q2 + ... + Qn + ...
Hosp Hog Muer (a) Explique por qu es posible esta expresin de
(I Q)-1.
Hospital.991 .003 .006 (b) Defina a mij = nmero esperado de perodos
pasados en el estado transitorio tj antes de la
Hogares .025 .969 .006
M uerte 0 0 1 absorcin, si se sabe que iniciamos en el
estado ti. Suponga que el periodo inicial se
Cada mes que pasa un paciente en el hospital pasa en el estado ti. Explicar por qu mij =
cuesta 655 dlares al estado, y cada mes que pasa (probabilidad de que estemos al principio en el
en una pensin le cuesta 226 dlares, tambin al estado ti) + (probabilidad que estemos en el
estado. Para mejorar la frecuencia de xitos de estado tj despus de la primera transicin) +
colocacin de pacientes, el estado recientemente (probabilidad que estemos en el estado tj
comenz un "programa de resocializacin despus de la segunda transicin) + ... +
geritrica" (GRP) para preparar a los pacientes a (probabilidad que estemos en el estado tj
desempearse en las pensiones. Algunos despus de la n-sima transicin) + .
pacientes se colocan en el GRP y a continuacin (c) Explique por qu la probabilidad de que
pasan a pensiones. Es menos probable que estos estemos inicialmente en el estado tj =
pacientes no se puedan ajustar a sus pensiones. elemento ij-simo de la matriz identidad (s m)
Otros pacientes continan pasando en forma x (s m). Explique por qu la probabilidad de
directa del hospital a las pensiones sin haber que estemos en el estado ti despus de la n-
tomado parte en el (GRP). El estado paga 680 sima transicin = elemento ij-simo de Qn.
dlares cada mes lo que cuesta el paciente en el (d) Ahora explique por qu mij = elemento ij de (I
GRP. El movimiento de los pacientes est Q)-1.
gobernado por la siguiente cadena de Markov:
GRP Hosp Pen.GRP Pensi Muer 9. Defina
bij = probabilidad de terminar en un estado
GRP .854 .028 .112 0 .006 absorbente aj dado que iniciamos en un

Hosp .013 .978 0 .003 .006 estado transitorio tj.
Pen.GRP .025 0 .969 0 .006 rij = ij-simo elemento de R
qik = ik-simo elemento de Q.
Pensi 0 .025 0 .969 .006
B = matriz (s m) x m cuyo ij-simo elemento es bij.
M uerte 0 0 0 0 1 Suponga que iniciamos en el estado ti. En nuestra
(a) El GRP, ahorra fondos al estado? primera transicin, pueden suceder tres tipos de
eventos:
26

Evento 1 Pasamos al estado absorbente aj, con contabilidad y consultora se asigna como se ve en
probabilidad rij. la Tabla 4.
Evento 2 Pasamos al estado absorbente que no es Por ejemplo, contabilidad emplea el 10% de su
aj, con probabilidad k j qik bkj . tiempo en problemas generados por el
departamento de contabilidad, 20% en trabajos
Evento 3 Pasamos al estado transitorio tk, con generados por la divisin 3, etc. Cada ao, cuesta
probabilidad qik. 63 millones de dlares la operacin del
(a) Explique por qu departamento de contabilidad, y 210 millones de
k sm
bij rij q
k 1
b
ik kj
dlares la del departamento de consultora de
administracin. Qu fraccin de esos costos se
(b) Ahora demuestre que bij = ij-simo elemento debe asignar a cada divisin automotriz? Imaginar
de (R + QB) y que B = R + QB. 1 dlar en costos incurridos en trabajos de
(c) Demuestre que B = (I Q)-1R y que bij = ij- contabilidad. Hay una probabilidad 0.20 de que
simo elemento de B = (I Q)-1R. estos costos se asignen a cada divisin automotriz,
probabilidad 0.30 de que se asigne a consultora y
GRUPO C probabilidad 0.10 que se asigne a contabilidad. Si el
9. General Motors tiene tres divisiones automotrices dlar se asigna a una divisin automotriz, sabemos
(divisin 1, divisin 2 y divisin 3). Tambin tiene a qu divisin se debe cargar ese dlar. Por
una divisin de contabilidad y una de consultora ejemplo, si el dlar se carga a consultora,
de administracin. La pregunta es: Qu fraccin repetimos el proceso hasta que, por ltimo, el dlar
del costo de las divisiones de contabilidad y de se cargue a una divisin automotriz. Use el
consultora de administracin se debe cargar a conocimiento de cadenas de Markov para
cada divisin automotriz? Suponemos que el costo establecer como asignar los costos de
total de los departamentos de contabilidad y funcionamiento de los departamentos de
consultora se deben repartir entre las tres contabilidad y asesora entre las tres divisiones
divisiones automotrices. Durante un ao automotrices.
determinado, el trabajo de las divisiones de

Tabla 4
CONTABILIDAD CONSULTORIA DIVISION 2 DIVISION 3
DE ADMON
Contabilidad 10% 30% 20% 20% 20%
Administracin 30% 20% 30% 0% 20%

1.7 MODELOS DE PLANEACIN DE PERSONAL


Muchas empresas, como por ejemplo Mason y Burger del Ejem. 6.2, emplean varias categoras de personal.
Con fines de planeacin a largo plazo, a menudo es til poder predecir el nmero de empleados de cada
categora que, s las tendencias actuales continan, estarn disponibles en el estado estable. Se pueden
hacer esas predicciones a travs de un anlisis semejante al de la Secc. 1.5 de probabilidades de estado
estable para cadenas de Markov.

Ms formalmente, se tiene una organizacin cuyos miembros se clasifican en cualquier punto en el tiempo
en uno de los s grupos (identificados como 1, 2,..., s). Durante cada periodo, una fraccin pij de los que
inician un periodo en el grupo i, al siguiente periodo inician en un grupo j. Tambin, durante cada periodo,
una fraccin pis+1 de todos los miembros del grupo i dejan la organizacin. Sea P la matriz s x (s + 1) cuyo
elemento ij es pij. Al principio de cada periodo, la organizacin contrata Hi miembros del grupo i. Sea Ni(t) el
nmero de miembros del grupo i al principio del periodo t. Una pregunta de inters natural es si Ni(t) tiende a
un lmite a medida que crece t, o no. Si existe el lmite, lo llamaremos Ni. Si cada Ni(t) tiende a un lmite,
llamamos a N = (N1, N2, ... ,Ns) el censo de estado estable de la organizacin.

Si existe censo de estado estable podemos encontrarlo al resolver un sistema de s ecuaciones que se
plantea como sigue: tan slo ntese que para que exista ese estado, debe ser vlido que, para i = 1, 2, ..., s
Nmero de personas que entran al grupo i durante cada periodo
= nmero de personas que salen del grupo i durante cada periodo (14)
27

Despus de todo, si la ecuacin (14) no fuera vlida para todos los grupos, entonces el nmero de personas
en al menos un grupo se acumulara a medida que pasara el tiempo. Ntese que
Nmero de personas que entran al estadoi durante
H i N k p ki
cada perodo k i

Nmero de personas que salen del estado i durante


N i p ik
cada perodo k i

Entonces la ecuacin que se usa para calcular el censo de estado estable es


H i N k p ki N i pik (i 1, 2, , s) (14)
k i k i

Dados los valores de las pij y de las Hi, se puede usar la ecuacin (14) para despejar el censo de estado
estable. A la inversa, dadas las pij y un censo deseado de estado estable, se puede usar la ecuacin (14)
para determinar una poltica de contratacin, especificada por los valores de H1, H2, ... ,Hs, que logre el censo
deseado de estado estable. Podr ser imposible mantener algunos censos de estado estable a menos que
algunas Hi sean negativas, lo que equivale a despedir empleados.

Los dos ejemplos que siguen muestran el uso de la ecuacin de censo de estado estable.

Ejemplo 7.1 Suponga que se puede clasificar a cada norteamericano en uno de tres grupos: nios,
adultos que trabajan, o retirados. Durante un periodo de un ao, 0.959 de los nios an son
nios, 0.04 de los nios pasan a ser adultos que trabajan y 0.001 de los nios mueren.
Durante cualquier ao, 0.96 de los adultos que trabajan permanecen como tales, 0.03 pasan
a ser retirados y 0.01 mueren. Tambin, 0.95 de los retirados permanecen retirados y 0.05 de
los retirados mueren. Nacen mil nios cada ao.
1. Determine el censo de estado estable.
2. Cada persona retirada recibe una pensin de 5000 dlares por ao. El fondo de pensin
se sufraga con pagos de los adultos que trabajan. Cunto dinero debe aportar cada
adulto que trabaja, al ao, para el fondo de pensin?

Solucin 1.Sea
Grupo 1 = nios
Grupo 2 = adultos que trabajan
Grupo 3 = retirados
Grupo 4 = muertos

Los datos son H1 = 1000, H2 =H3 = 0 y


0.959 0.040 0 0.001
P 0 0.960 0.030 0.010
0 0 0.950 0.050

Entonces la ecuacin (14) o la (14) es:


Nm. que entra al grupo i cada ao = Nm. que sale del grupo i cada ao
1000 = (0.04 + 0.001)N1 (nios)
0.04N1 = (0.030 + 0.010)N2 (adultos que trabajan
0.03N2 = 0.050N3 (retirados)

Al resolver este sistema de ecuaciones nos encontramos con que N1 = N2 = 24390.24, y N3 =


14634.14.
28

2. Como en el estado estable hay 14634.14 personas retiradas, en el estado estable reciben
14634.14 x (5000) dlares al ao. Por lo tanto, cada adulto que trabaja debe pagar
14634 .14 5000
3000 dolares por ao
24390 .24

Este resultado es razonable, porque en el estado estable hay 5/3 de adultos que, trabajan en
comparacin con los retirados.

Ejemplo 7.2 Regresemos al bufete de abogados Mason y Burger (Ejem. 6.2). Supongamos que la meta a
largo plazo de ese bufete es tener 50 abogados principiantes, 30 con experiencia y 10
socios. Para alcanzar este censo de estado estable, cuntos abogados de cada tipo deben
contratar cada ao?

Solucin Sean
Grupo 1 = abogados principiantes
Grupo 2 = abogados con experiencia
Grupo 3 = socios
Grupo 4 = abogados que salen del bufete

Mason y Burger desean obtener N1 = 50, N2 = 30 y N3 = 10. Recurdese que en el Ejem. 6.2
0.80 0.15 0 0.05

P 0 0.70 0.20 0.10
0 0 0.95 0.05

Entonces la ecuacin (14) o la (14) es


Nm. que entra al grupo i = Nm. que sale del grupo i
H1 = (0.15 + 0.05)50 (abogados principiantes)
(0.15)50 + H2 = (0.20 + 0.10)30 (abogados con experiencia)
(0.20)30 + H3 = (0.05)10 (asociados)

La solucin nica de este sistema de ecuaciones es H1 = 10, H2 = 1.5, H3 = -5.5. Esto significa
que para mantener el censo deseado de estado estable, Mason y Burger deben despedir 5.5
socios cada ao. Esto es razonable, porque cada ao hay 0.20(30) = 6 abogados con
experiencia que pasan a ser socios, y una vez que lo hacen, permanecen en ese puesto un
promedio de 20 aos. Esto muestra que para mantener el nmero de asociados en 10,
deben despedirse algunos de ellos. Otra solucin podra ser reducir, a menos de su valor
actual de 0.20, la fraccin de abogados con experiencia que pasan a ser socios cada ao.

Para mayor informacin acerca de los modelos de planeacin de personal, se aconseja consultar el
excelente libro de Grinold y Marshall (1977).

PROBLEMAS
GRUPO A de retirados de 5% a 3%. Cunto aumenta la
1. Este problema es acerca del Prob. 1 de la Secc. contribucin anual para pensiones, debido a esto,
19.6. Supongamos que cada ao el colegio estatal que pagan los adultos que trabajan?
admite 7,000 estudiantes de nuevo ingreso, 500 de 3. La ciudad de Nueva York produce 1,000 ton de
segundo ao y 500 de tercer ao. A largo plazo, contaminacin al da, Jersey City 100, y Newark 50.
cul ser la composicin del estudiantado en ese Cada da 1/3 de la contaminacin de Nueva York
colegio? es llevada por el viento a Newark, 1/3 se disipa y
2. En el Ejem. 9, suponga que el progreso de la 1/3 permanece en Nueva York. Tambin
medicina ha reducido la tasa anual de mortalidad diariamente, 1/3 de la contaminacin de Jersey City
es llevada por el viento a Nueva York, 1/3
29

permanece en Jersey City y 1/3 pasa a Newark. Y GRUPO C


por ltimo, 1/3 de la contaminacin de Newark 6. Por simplicidad, supongamos que la sangre fresca
permanece all y el resto pasa a Jersey City. En un que obtiene un hospital se echa a perder si no se
da normal, cul ciudad ser la ms utiliza en 5 das. El hospital recibe 100 medios
contaminada? litros de sangre fresca diariamente de un banco de
4. Circula dinero entre los tres planetas "capitales" de sangre local. Son posibles dos polticas para
la federacin: Vulcano, Fobos y Marte. En forma determinar el orden en el que se hacen
ideal, a la federacin le gustara tener 5 mil transfusiones de sangre (vase tabla 5). Por
millones de dlares en circulacin en cada planeta. ejemplo, segn la poltica 1, la sangre tiene un 10%
Cada mes 1/3 de todo el dinero de Vulcano sale de de probabilidades de usarse en transfusin durante
circulacin, 1/3 permanece all y 1/3 termina en su primer da en el hospital. Segn la poltica 2, la
Fobos. Cada mes, 1/3 del dinero en Marte sangre con cuatro das de antigedad tiene el 10%
permanece all, 1/3 pasa a Fobos y 1/3 pasa a de probabilidad de ser usada.
Vulcano. Tambin cada mes, 2/3 del dinero de Tabla 5
Fobos pasa a Marte y 1/3 permanece all. La EDAD DE LA SANGRE
federacin inyecta dinero al sistema en Vulcano. (al inicio del da)
Hay algn modo de tener un nivel de estado Probabilidad de uso
estable de 5 mil millones de dlares en circulacin 0 1 2 3 4
en transfusiones
en cada planeta?
Poltica 1 .10 .20 .30 .40 .50
GRUPO B Poltica 2 .50 .40 .30 .20 .10
5. Todos los profesores de la Facultad de Comercio (a) La poltica FIFO (First-in, First-out), primeras
de una universidad se clasifican como de tiempo entradas primeras salidas, usa primero la
completo y de tiempo parcial. Cada ao el 10% de sangre "vieja", mientras que la poltica LIFO
los de tiempo parcial pasan a ser de tiempo (Last-in, First out) ltimas entradas primeras
completo y el 10% salen de la Facultad; el 95% de salidas emplea primero la sangre "nueva".
los de tiempo completo permanecen y el 5% salen. Cul poltica es LIFO y cul FIFO?
La Facultad de Comercio desea mantener un (b) Para cada poltica, determine la probabilidad
profesorado de 100 miembros, de los cuales el x% de que se eche a perder un medio litro de
son de tiempo parcial. Determine una poltica de sangre recin llegada al hospital.
contratacin que logre esta meta. Para qu (c) Para cada poltica, determine el nmero
valores de x se necesita despedir profesores de promedio de medios litros de sangre en
tiempo completo, de acuerdo con la poltica de inventario.
contratacin? Describa una poltica que mantenga (d) Para cada poltica, determine la edad
un 10% de tiempo parcial. Describa una poltica de promedio de la sangre que se usa en
contratacin que mantenga 40% del profesorado transfusiones.
de tiempo parcial? (e) Haga comentarios de los mritos relativos de
las polticas FIFO y LIFO.

1.8 DISTRIBUCIN EXPONENCIAL


En esta seccin nos dedicaremos al estudio de una distribucin de probabilidad que es de gran importancia
en el estudio de las cadenas de Markov de tiempo continuo, la distribucin exponencial.

Una distribucin exponencial con parmetro tiene una funcin de densidad


e t si t 0
f (t ) . (15)
0 si t 0

En la Fig. 2 se muestra la funcin de densidad para la distribucin exponencial. Aqu se observa que f(t)
disminuye rpidamente a medida que t crece. Esto indica que son poco probables valores muy grandes de la
variable y por lo tanto
P0 T t Pt T t t
30

Figura 9
Funcin de densidad
para una variable
aleatoria X con
distribucin
exponencial

Se puede demostrar que la funcin de densidad acumulada para una variable X que tenga distribucin de
probabilidad exponencial esta dada por
0 si x 0
F ( X ) P( X x) x
. (16)
1 e si x 0

Igualmente, e integrando por partes, podemos demostrar que el promedio de una variable aleatoria X con
distribucin exponencial, E(X), est dado por
1
E( X ) . (17)

A su vez, la varianza de esta misma variable es


1
VarX (18)
2

PROPIEDAD DE AMNESIA DE LA DISTRIBUCION EXPONENCIAL.


La razn por la cual es importante la distribucin exponencial para el estudio de las cadenas de Markov de
tiempo continuo se encuentra en el siguiente, lema:

LEMA 1 Si T tiene distribucin exponencial, entonces para todo valor no negativo de t y s,


PT t s | T s P(T t ) (19)

Demostracin Notaremos primero que,

t

PT t e x dx e x



t e t (20)

Entonces
PT t s T s
PT t s | T s
PT s
De la Ecc. (20),
PT t s T s e (t s ) y PT s e s
As,
e (t s )
PT t s | T s e t PT t
e s

Se puede demostrar que no hay otra funcin de densidad que satisfaga la Ecc. (19) (vase Feller (1957)).
Por razones que se hacen evidentes, se dice que una funcin de densidad que satisfaga la Ecc. (19) tiene la
propiedad de amnesia, o de no memoria. Suponga que sabemos que un sistema no ha cambiado de
estado durante las ltimas s horas, lo que equivale a que nos digan que T > s y que nos pregunten cul es la
probabilidad que no cambie de estado durante las siguientes t horas, es decir T > t + s. Entonces, la Ecc. (19)
31

quiere decir que esta probabilidad no depende del valor de s, y que para todos los valores de s esta
probabilidad es igual a P[T > t]. En resumen, si conocemos que han pasado al menos s unidades de tiempo
durante las cuales el sistema se encuentra en un determinado estado, entonces la distribucin del tiempo
que queda para que el sistema cambie de estado, t, no depende de s. Por ejemplo, si t = 4, entonces la Ecc.
(19) produce, para s = 5, s = 3, s = 2 y s = 0,
PT 4 5 | T 5 PT 4 3 | T 3 PT 4 2 | T 2 PT 4 0 | T 0 PT 4

La propiedad de amnesia de la distribucin exponencial es importante porque establece que la distribucin


de probabilidad del tiempo que falta para que el sistema cambie de estado, es independiente del tiempo
haya transcurrido desde el ltimo cambio de estado. Para decirlo en trminos concretos, suponga que
nuestro sistema es un banco en donde el estado del sistema esta dado por el nmero de clientes que hay
dentro de l y que el estado del sistema cambia cuando entra o sale un cliente del banco. Para simplificar
consideremos solo la entrada de clientes al banco y supngase que los tiempos entre llegadas se distribuyen
exponencialmente con = 6. Entonces la propiedad de amnesia significa que no importa cunto tiempo haya
pasado desde la ltima llegada, la distribucin de probabilidades que rige el tiempo para la siguiente llegada
tiene la funcin de densidad 6e-6t. Esto significa que para predecir los comportamientos de las llegadas
futuras no necesitamos mantener registro de cunto tiempo haya pasado desde la ltima llegada. Esta
observacin puede simplificar mucho el anlisis de un sistema.

RELACIN ENTRE LA DISTRIBUCIN DE POISSON Y LA DISTRIBUCIN EXPONENCIAL


Si los tiempos entre la ocurrencia de un mismo tipo de evento son exponenciales, la distribucin de
probabilidad del nmero de eventos que ocurren en cualquier intervalo de tiempo t est dada por el siguiente
teorema importante:

TEOREMA 1 Los tiempos entre ocurrencia de un mismo tipo eventos son exponenciales con parmetro
si y slo si el nmero de eventos que suceden en un intervalo t sigue una distribucin
de Poisson con parmetro t.

Una variable aleatoria discreta N tiene una distribucin de Poisson con parmetro si, para n = 0, 1, 2, ,
e n
P( N n) (n 0, 1, 2, ) (21)
n!

Si N es una variable aleatoria de Poisson, se puede demostrar que E(N) = VarN = . Si hacemos que Nt sea
el nmero de ocurrencias de eventos de un mismo tipo durante cualquier intervalo de tiempo de longitud t, el
Teorema 1 establece que
e t (t ) n
P( N t n) (n 0, 1, 2, )
n!

Como Nt, es de Poisson con parmetro t, E(Nt) = Varna = t. Un promedio de t llegadas se suceden durante
un intervalo de tiempo de longitud t y, entonces se puede pensar que es el nmero promedio de llegadas
por unidad de tiempo, o rapidez de llegadas.

Qu hiptesis se necesitan para que los tiempos entre ocurrencias de un mismo tipo de eventos sean
exponenciales? El Teorema 2, ms adelante, nos da una respuesta parcial. Veamos las dos hiptesis
siguientes:
1. Las ocurrencias de eventos del mismo tipo definidas en intervalos de tiempo que no se traslapan son
independientes (por ejemplo, el nmero de llegadas que se tiene entre los tiempos 1 y 10 no nos da
informacin alguna acerca del nmero de llegadas entre los tiempos 30 y 50).
2. Para t pequeo, y cualquier valor de t, la probabilidad de que se tenga la ocurrencia de un evento entre
los tiempos t y t + t es t + (t), donde (t) es cualquier cantidad que satisfaga
32

(t )
lim 0
t 0 t

Tambin, la probabilidad de que no ocurra el evento durante el intervalo entre t y t + t es 1 - t + (t) y la


probabilidad que ocurre ms de un evento en ese intervalo es (t).

TEOREMA 2 Si son vlidas las hiptesis 1 y 2, entonces N, sigue una distribucin de Poisson con
parmetro t, y los tiempos entre llegadas son exponenciales con parmetro . Esto es,
f(t) = e-t.

En esencia, el Teorema 2 establece que si la rapidez de ocurrencia de eventos es estable, es decir, si no


pueden tenerse ocurrencia de eventos en masa y si los eventos ocurridos en el pasado no afectan los que
ocurrirn en el futuro, entonces los tiempos entre ocurrencia de eventos del mismo tipo seguirn una
distribucin exponencial con parmetro y el nmero de eventos ocurridos en cualquier intervalo de longitud
t es de Poisson con parmetro t. Las hiptesis del Teorema 2 pueden parecer demasiado restrictivas, pero
con frecuencia los tiempos entre ocurrencias de eventos del mismo tipo son exponenciales aun cuando no
se satisfagan las hiptesis del Teorema 2 (vase Denardo (1982)). Sucede que en muchas aplicaciones, la
hiptesis de tiempos exponenciales entre ocurrencia de eventos del mismo tipo es una muy buena
aproximacin a la realidad.

El Ejem. 8.1 ilustra la relacin entre la distribucin exponencial y la de Poisson

EJEMPLO 8.1 El nmero de tarros de cerveza pedidos en el Dicks Pub sigue una distribucin de Poisson
con promedio de 30 cervezas por hora.
1. Calcule la probabilidad de que se pidan exactamente 60 cervezas entre las 10 p.m. y las
12 de la noche.
2. Determine el promedio y la desviacin estndar del nmero de cervezas pedidas entre
las 9 p.m. y la 1 a.m.
3. Calcule la probabilidad de que el tiempo entre dos pedidos consecutivos sea entre 1 y 3
minutos.

Solucin 1. El nmero de cervezas pedido entre las 10 p.m. y las 12 de la noche sigue una
distribucin de Poisson con parmetro 2(30) = 60. De la Ecc. (19), la probabilidad de que se
pidan 60 cervezas entre las 10 p.m. y la medianoche es
e 60 60 60
60!

2. = 30 cervezas por hora; t = 4 horas. Entonces, el nmero promedio de cervezas


pedidas entre las 9 p.m. y la 1 a.m. es 4(30) = 120 cervezas. La desviacin estndar del
nmero de cervezas pedido entre las 10 p.m. y la 1 a.m. es (120)1/2 = 10.95.

3. Sea T el tiempo en minutos entre pedidos sucesivos de cerveza. El nmero


promedio de pedidos por minuto es exponencial con parmetro, o razn 30
60
0.5 cervezas
por minuto. Entonces la funcin de densidad de probabilidad entre pedidos de cerveza es
0.5e-0.5t. Entonces
3
P(1 T 3) (0.5e 0.5t )dt e 0.5 e 1.5 0.38
1

PROBLEMAS
GRUPO A
1. El tiempo entre llegadas de autobuses sigue una distribucin exponencial con promedio de 60
33

minutos. (c) Cul es la probabilidad de que no lleguen


(a) Cul es la probabilidad de que lleguen autobuses durante las prximas 2 horas?
exactamente cuatro autobuses durante las (d) Acaba de llegar un autobs. Cul es la
siguientes 2 horas? probabilidad de que pasen entre 30 y 90
(b) Cul es la probabilidad de que por lo menos minutos para que llegue el siguiente?
dos autobuses lleguen durante las siguientes 2
horas?

1.9 CADENAS DE MARKOV DE TIEMPO CONTINUO


Todas las secciones anteriores hacen la suposicin de que el parmetro t del tiempo es discreto (es decir; t =
0, 1, 2, ...). Tal suposicin es adecuada para muchos problemas, pero existen ciertos casos (como en
algunos modelos de lneas de espera) en los que se requiere un parmetro (llamado t) de tiempo continuo,
debido a que la evolucin del proceso se est observando de manera continua a travs del tiempo. La
definicin de una cadena de Markov dada en la seccin 2 tambin se extiende a esos procesos continuos.
Esta seccin est dedicada a la descripcin de estas cadenas de Markov de tiempo continuo y sus
propiedades.

Para modelar este este tipo de de procesos, como antes, se etiquetan los estados posibles del sistema como
1, , s. Comenzando en el tiempo 0 y dejando que el parmetro t corra continuamente, para t 0 sea la
variable aleatoria X(t) el estado del sistema en el tiempo t. Entonces X(t) tomar uno de sus s valores
posibles en un intervalo 0 t < t1, despus saltar a otro valor en el siguiente intervalo t1 t < t2 y as
sucesivamente, donde los puntos de trnsito t1, t2, son puntos aleatorios en el tiempo (no necesariamente
enteros), tal como se ilustra en la Figura 10.

Figura 10
Estados tomados por un
sistema en diferentes
puntos del tiempo
cuando este corre de
manera continua

Ahora consideremos los siguientes tres puntos en el tiempo:


1. t = r ( donde r 0),
2. t = s (donde s > r) y
3. t = s + t ( donde t> 0),
interpretados como sigue:
t = r es un tiempo pasado,
t = s es el tiempo presente,
t = s + t es t unidades hacia el futuro.

Por lo tanto, el estado del sistema se ha observado en los tiempos t = s y t = r. Estos estados se etiquetan
como
X(s)=i y X(r)=x(r).

Dada esta informacin, el paso natural es buscar la distribucin de probabilidad del estado del sistema en el
tiempo t = s + t. En otras palabras, determinar el valor de
P[X(s+t) = j | X(s) = i y X(r) = x(r)], para cada j = 0,1,..., s.

Con frecuencia es muy difcil derivar estas probabilidades condicionales. Sin embargo, esta tarea se
simplifica considerablemente si el proceso estocstico involucrado posee la siguiente propiedad clave.
34

PROPIEDAD MARKOVIANA
Un proceso estocstico de tiempo continuo {X(t); t> 0} tiene la propiedad markoviana si
P[X(t+s) = j | X(s)=i y X(r) = x(r)] = P[X(t+s) = j |X(s) = i]
Para toda i,j = 0, 1,, s y para toda r > 0, s > r y t>0.

Observe que P[X(t+s) = j | X(s) = i] es una probabilidad de transicin, igual a las probabilidades de transicin
de las cadenas de Markov de tiempo discreto que se estudiaron en las secciones anteriores, donde la nica
diferencia es que ahora no es necesario que t sea entero.

DEFINICIN
Si las probabilidades de transicin son independientes de s, de manera que
P[X(t+s) = j | X(s) = i] = P[X(t) = j | X(0) = i]
para toda s > 0, se dice que las probabilidades de transicin son estacionarias.

Para simplificar la notacin se denotarn estas probabilidades estacionarias por


Pij(t) = P{X(t) = j | X(0) = i}
en donde se har referencia a Pij(t) como la funcin de probabilidad de transicin de tiempo continuo. Se
supone que
1, si i j
lim Pij (t )
t 0
0, si i j

As, un proceso estocstico de tiempo continuo {X(t); t> 0} es una cadena de Markov de tiempo continuo si
cumple la propiedad markoviana.

Aqu se restringir el estudio a las cadenas de Markov de tiempo continuo a aquellas con un nmero finito de
estados y el donde las probabilidades de transicin sean estacionarias.

ALGUNAS VARIABLES ALEATORIAS IMPORTANTES


En el anlisis de las cadenas de Markov de tiempo continuo, un conjunto importante de variables aleatorias
es el siguiente.

TIEMPO DE PERMANENCIA EN EL ESTADO i


Cada vez que el proceso entra en el estado i, la cantidad de tiempo que pasa en ese estado antes
de moverse a uno diferente es una variable aleatoria Ti, donde i = 0, 1, , s.

Suponga que el proceso entra en el estado i en el tiempo t = s. Entonces, para cualquier cantidad de
tiempo fija t > 0, observe que Ti > t si y slo si X(t) = i para toda t en el intervalo s t s + t. Por lo tanto, la
propiedad markoviana (con probabilidades de transicin estacionarias) implica que

P[Ti > t+s | Ti > s] = P[Ti > t].

sta no es ms que la propiedad de amnesia exhibida por la distribucin de probabilidad exponencial, la cual
significa que la distribucin de probabilidad del tiempo que falta para que el proceso haga una transicin
fuera de un estado dado siempre es la misma, independientemente del valor s, es decir, del tiempo haya
pasado el proceso en ese estado.

Este resultado lleva a una forma equivalente de definir una cadena de Markov de tiempo continuo:
35

1. La variable aleatoria Ti tiene una distribucin exponencial con media 1


i .
2. Cuando sale de un estado i, el proceso se mueve a otro estado j, con probabilidad pij en donde pij
satisface las condiciones
pii 0, para toda i ,
y
S

p
j 0
ij 1 para toda i.

3. El siguiente estado que se visita despus del estado i es independiente del tiempo que pas en el
estado i.

Igual que las probabilidades de transicin de un paso jugaron un papel primordial al describir una cadena de
Markov de tiempo discreto, el papel anlogo para la cadena de Markov de tiempo continuo lo tienen las
intensidades de transicin.

Las intensidades de transicin son


d 1 p ii (t )
i p ii (0) lim , para i 1, 2, , s
dt t 0 t
y
d p ij (t )
ij p ij (0) lim i p ij , para toda j i
dt t 0 t
donde pij(t) es la funcin de probabilidad de transicin de tiempo continuo introducida al principio de la
seccin y pij es la probabilidad descrita en la propiedad 2 el prrafo anterior. Ms an, i segn se defini
aqu, resulta ser tambin el parmetro de la distribucin exponencial para Ti (vea la propiedad 1 del prrafo
anterior).

La interpretacin intuitiva de i y ij es que son tasas de transicin. En particular, i es la tasa de transicin


hacia afuera del estado i en el sentido de que i es el nmero esperado de veces en las que el proceso deja
el estado i por unidad de tiempo que pasa en el estado i. As, i es el recproco del tiempo esperado de
permanencia en el estado i cada vez que este estado es visitado; es decir,
1
i . (22)
E (Ti )

De manera similar, ij es la tasa de transicin del estado i al estado j en el sentido de que ij es el nmero
esperado de veces que el proceso transita directamente del estado i al estado j por unidad de tiempo que
pasa en el estado i. As,
i ij (23)
j i

Igual que i es el parmetro de la distribucin exponencial para Ti, cada ij es el parmetro de una
distribucin exponencial para una variable aleatoria relacionada que se describe en seguida.

Cada vez que el proceso entra al estado i, la cantidad de tiempo que pasar en el estado i antes de que
ocurra una transicin directa al estado j es una variable aleatoria Tij donde i, j = 0,1,, s y j i. Las Tij, son
variables aleatorias independientes, donde cada Tij tiene una distribucin exponencial con parmetro ij, de
manera que
1
E (Tij ) . (24)
ij
El tiempo que pasa en el estado i hasta que ocurre una transicin (Ti) es el mnimo (sobre j i) de las Tij.
Cuando ocurre la transicin, la probabilidad de que sea al estado j es
36

ij
p ij . (25)
i

PROBABILIDADES DE ESTADO ESTABLE


Igual que las probabilidades de transicin de una cadena de Markov de tiempo discreto satisfacen las
ecuaciones de Chapman-Kolmogorov, la funcin de probabilidad de transicin de tiempo continuo satisface
estas ecuaciones. Entonces, para cualesquiera estados i y j, y nmeros no negativos t y s (0 s t),
S
pij (t ) pik (s) p kj (t s) (26)
k 1

Se dice que un par de estados i y j se comunican si existen tiempos t1 y t2 tales que pij(t1) > 0 y pij(t2) > 0. Se
dice que todos los estados que se comunican forman una clase. Si todos los estados en una cadena forman
una sola clase, es decir, si la cadena de Markov es irreducible (lo que se supondr de aqu en adelante),
entonces, pij(t)> 0, para toda t > 0 y todos los estados i y j. Ms an,
lim pij (t ) j
t

siempre existe y es independiente del estado inicial de la cadena de Markov, para j = 0, 1. , s. Estas
probabilidades se conocen comnmente como las probabilidades de estado estable (o probabilidades
estacionarias) de la cadena de Markov.

Las j satisfacen las ecuaciones


s
j k p kj (t ) para j 1, 2, , s y para toda t 0 . (27)
k 1

Restando a ambos miembros de la Ecc. 27 jpjj(t), se tiene:


j 1 p jj (t ) k p kj (t ) .
k j

Dividiendo cada trmino de la anterior igualdad por t y calculando el lmite cuando t tiende a cero se obtiene:
1 p (t ) p kj (t )
j lim k lim
jj
t 0 t t 0 t
k j

j j k kj , para j 1, 2, , s (28)
k j

Este nuevo conjunto de s ecuaciones es ms til para el clculo de las probabilidades de estado estable,
que el obtenido en las Eccs. 27. Nuevamente el conjunto de Ecc. 28 no es linealmente independiente, ya
que se obtiene del conjunto de Eccs. 27 que tampoco lo es, y por lo tanto debe eliminarse una cualquiera de
sus ecuaciones y reemplazarse por


k 0
j 1. (29)

El conjunto de Eccs. 28 tiene una interpretacin intuitiva. El lado izquierdo (j j) es la tasa a la que el
proceso deja el estado j, ya que j es la probabilidad (de estado estable) de que el proceso est en el estado
j y j es la tasa de transicin hacia afuera del estado j dado que el proceso se encuentra en el estado j. De
manera similar, cada trmino de lado derecho (k kj) es la tasa a la que el proceso entra al estado j desde el
estado k, ya que kj es la tasa de transicin del estado k al j dado que el proceso se encuentra en el estado k.
Sumando sobre toda k j, todo el lado derecho proporciona la tasa a la que el proceso entra al estado j
desde cualquier estado. Por eso la ecuacin global establece que la tasa a la cual el proceso deja el estado j
debe ser igual a la tasa en la que el proceso entra al estado j.

Como cada una de las primeras s ecuaciones de estado estable requiere que las dos tasas estn
37

balanceadas (sean iguales), a veces estas ecuaciones se llaman ecuaciones de balance.

EJEMPLO 9.1 Un taller tiene dos mquinas idnticas que operan continuamente excepto cuando se
descomponen. Como lo hacen con bastante frecuencia, la tarea con ms alta prioridad
para una persona de mantenimiento que trabaja tiempo completo es repararlas en cuanto
lo necesiten. El tiempo requerido para reparar una mquina tiene distribucin exponencial
con media de 12 da. Una vez que se termina la reparacin, el tiempo que transcurre hasta
la siguiente descompostura tiene distribucin exponencial con media de 1 da. Estas
distribuciones son independientes.

Solucin Definamos la variable aleatoria X(t) como


X(t) = nmero de mquinas descompuestas en el tiempo t,
de forma que los valores posibles de X(t) son 0, 1, 2. Por lo tanto, si se corre el parmetro
t de manera continua desde el tiempo 0, el proceso estocstico de tiempo continuo {X(t);
t 0} proporciona la evolucin del nmero de mquinas descompuestas.

Como tanto el tiempo de reparacin como el tiempo hasta la siguiente descompostura


tienen distribuciones exponenciales, {X(t); t 0} este proceso es una cadena de Markov
de tiempo continuo con estados 0, 1, 2. En consecuencia, se pueden usar las ecuaciones
28 y 29 para encontrar la distribucin de probabilidad de estado estable del nmero de
mquinas descompuestas. Para hacer esto, se deben determinar todas las tasas de
transicin, esto es, las j y kj para k, j = 0, 1, 2.

El estado (nmero de mquinas descompuestas) aumenta en 1 cuando ocurre una


descompostura y disminuye en 1 cuando se termina una reparacin. Como tanto las
descomposturas como las reparaciones ocurren una a la vez, 02 20 = 0. El tiempo
esperado de reparacin es 12 da, de manera que la tasa a la que se terminan las
reparaciones (cuando hay mquinas descompuestas) es 2 por da, lo que implica que 21 =
10 = 2. De igual forma, el tiempo esperado hasta que se descompone una mquina en
operacin es 1 da, de manera que la tasa a la que se descompone (cuando est
operando) es 1 mquina por da; esto implica que 12 = 1. Durante los tiempos en los que
las dos mquinas operan, las descomposturas ocurren a una tasa de 1 + 1 = 2 mquinas
por da, as, 01 = 2. Estas tasas de transicin se resumen en el diagrama de tasas que se
muestra en la figura 11.

Figura 11
Diagrama de tasas
para el ejemplo de
una cadena de
Harkov de tiempo
continuo

Se pueden usar estas tasas para calcular la tasa de transicin total hacia afuera de
cada estado (Ecc. 20), as:
0 01 02 2
1 10 12 3
2 20 21 2

Sustituyendo todas las tasas en las ecuaciones de estado estable (Eccs 18 y 19), se
obtiene
Ecuacin de balance para el estado 0: 20 = 21
38

Ecuacin de balance para el estado 1: 31 = 20 + 22


Ecuacin de balance para el estado 2: 22 = 1
Las probabilidades suman 1: 0 + 1 + 2 = 1

Cualquiera de las ecuaciones de balance (digamos, la segunda) se puede eliminar como


redundante, y la solucin simultnea de las ecuaciones restantes da la distribucin de
estado estable como
0 , 1 , 2 52 , 52 , 15

Entonces, a la larga, ambas mquinas estarn descompuestas simultneamente 20% del


tiempo y estar descompuesta una mquina otro 40% del tiempo.

El siguiente captulo (sobre teora de colas) contiene muchos ejemplos de cadenas de Markov de tiempo
continuo. De hecho, la mayor parte de los modelos bsicos de la teora de colas caen dentro de esta
categora. El ejemplo que se acaba de dar en realidad se ajusta a uno de estos modelos (la variacin de
fuente de entrada finita al modelo M/M/s).

PROBEMAS
GRUPO A

1. Reconsidere el ejemplo presentado al final de esta trabajos. Los trabajos llegan individualmente.
seccin. Suponga que ahora se agrega al taller una Siempre que hay menos de tres trabajos, el tiempo
tercera mquina, idntica a las dos primeras. La que transcurre hasta la siguiente llegada tiene
persona de mantenimiento debe atender a todas distribucin exponencial con media de de da.
las mquinas. Los trabajos se procesan uno a la vez y dejan el
a) Desarrolle un diagrama de tasas para esta centro de inmediato. Los tiempos de procesado
cadena de Markov. tienen una distribucin exponencial con media de
b) Construya las ecuaciones de estado estable. de da.
c) Resuelva estas ecuaciones para obtener las a) Construya el diagrama de tasas para esta
probabilidades de estado estable. cadena de Markov.
2. El estado de una cadena de Markov de tiempo b) Escriba las ecuaciones de estado estable.
continuo est definido como el nmero de trabajos c) Resuelva estas ecuaciones para obtener las
que hay en el momento actual en cierto centro de probabilidades de estado estable.
trabajo, donde se permite un mximo de tres

You might also like