Professional Documents
Culture Documents
CADENAS DE MARKOV
En los problemas de toma de decisiones, con frecuencia nos enfrentamos a situaciones que tienen
incertidumbre asociada a ellas. Esta incertidumbre proviene de la variacin inherente a las fuentes de esa
variacin que eluden el control o proviene de la inconsistencia de los fenmenos naturales. En lugar de
manejar esta variabilidad como cualitativa, puede incorporarse a un modelo matemtico y manejarse en
forma cuantitativa. Por lo general, este tratamiento puede lograrse si el fenmeno natural muestra un cierto
grado de regularidad, de manera que sea posible describir la variacin mediante un modelo probabilstico.
Este capitulo presenta modelos de probabilidad para procesos que evolucionan en el tiempo de una manera
probabilstica. Tales procesos se llaman procesos estocsticos. Despus de introducir brevemente los
procesos estocsticos generales en la primera seccin, el resto del captulo est dedicado a un tipo especial
de proceso, llamado Cadena de Markov. Las cadenas de Markov tienen la propiedad particular de que las
probabilidades que describen la forma en que el proceso evolucionar en el futuro dependen slo del estado
actual en que se encuentra el proceso y, por lo tanto, son independientes de los eventos ocurridos en el
pasado. Muchos procesos se ajustan a esta descripcin por lo que las cadenas de Markov constituyen una
clase de modelos probabilsticos de gran importancia y por lo tanto, se han aplicado con xito en reas tales
como educacin, mercadotecnia, servicios de salud, finanzas, contabilidad y produccin, entre otros.
Ejemplo 1.1 La ruina del jugador. En el tiempo 0 tengo $2000. En los tiempos 1, 2, participo en un
juego en el que solo puedo apostar $1000. Gano con probabilidad p, y pierdo con
probabilidad 1 - p. Mi meta es aumentar mi capital a $4000, y tan pronto como lo logre se
suspende el juego. El juego tambin se suspende si mi capital se reduce a $0.
y por lo tanto S = {0, 1, 2, 3, 4}. Entonces se puede considerar que {Xt} es un proceso
estocstico de tiempo discreto. Ntese que X0 = 2 es una constante conocida, pero que X1 y
las dems Xt son aleatorias. Por ejemplo, X1 = 3 con probabilidad p y X1 = 1 con probabilidad
1 - p. Ntese que si Xt = 4, entonces Xt+1 y todas las dems Xt tambin sern iguales a 4.
1
Es indiferente si se inicia a etiquetar desde 1 o desde 0.
2
Igualmente, si Xt = 0, entonces Xt+1 y todas las dems Xt sern tambin cero. Por razones
obvias, a estos casos se les llama problema de la ruina del jugador.
Ejemplo 1.2 Una urna contiene dos bolas, las cuales se encuentran sin pintar. Se selecciona una bola al
azar y se lanza una moneda. Si la bola elegida no est pintada y la moneda produce cara,
pintamos la bola de rojo; si la moneda produce sello, la pintamos de negro. Si la bola ya est
pintada, entonces cambiamos el color de la bola de rojo a negro o de negro a rojo,
independientemente de si la moneda produce cara o sello. Para modelar este caso como
proceso estocstico, definimos a t como el tiempo despus que la moneda ha sido lanzada
por t-sina vez y se ha pintado la bola escogida. En cualquier tiempo se puede representar el
estado del sistema mediante el vector [u, r, b], donde u es el nmero de bolas sin pintar en la
urna, r el nmero de bolas rojas y b el de bolas negras. Luego los estados del sistema sern:
Estado 1 [2, 0, 0]
Estado 2 [1, 1, 0]
Estado 3 [1, 0, 1]
Estado 4 [0, 1, 1]
Estado 5 [0, 2, 0]
Estado 6 [0, 0, 2].
Se nos dice que X0 = [2, 0, 0]. Despus del primer lanzamiento una bola habr sido pintada
ya sea de rojo o de negro y el estado ser [1, 1, 0] o [1, 0, 1]. Por lo tanto, podemos asegurar
que X1 = [1, 1, 0] o X1 = [1, 0, 1]. Es claro que debe haber alguna relacin entre las Xt. Por
ejemplo, si Xt = [0, 2, 0], podemos asegurar que Xt+1 ser [0, 1, 1].
Ejemplo 1.3 Sea X0 el precio de una accin de la compaa de Computadoras CSL al principio de este
da hbil. Tambin, sea Xt el precio de esa accin al principio del t-simo da hbil en el
futuro. Es claro que si se conocen los valores de X0, X1, , Xt estos valores dicen algo
acerca distribucin de probabilidad de Xt+1; el asunto es: qu nos dice el pasado (los
precios de las acciones hasta el tiempo t) acerca de Xt+1? La respuesta a esta pregunta es
de importancia crtica en finanzas. Para mayores detalles, vase la siguiente seccin.
Ejemplo 1.4 Problema de inventarios. Una tienda de cmaras tiene en almacn un modelo especial
que se puede ordenar cada semana. Sean D1, D2, las demandas de este tipo de cmara
durante la primera, segunda, , t-sima semana, respectivamente. Suponga que las Dt son
variables aleatorias independientes e idnticamente distribuidas con distribucin de
probabilidad conocida. Sea Xt el nmero de cmaras que se tiene en el momento de iniciar
el proceso. El sbado en la noche la tienda hace un pedido que le entrega el lunes en el
momento de abrir la tienda. La tienda usa la siguiente poltica (s, S)2 para ordenar: Si el
nmero de cmaras en inventario al final de la semana es menor que s = 1 , ordena (hasta) S
= 3. De otra manera no coloca la orden. Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces {Xt} es un proceso estocstico. Los estados
posibles del proceso son:
Estado 0 Tener 0 cmaras en inventario al final de la semana
Estado 1 Tener 1 Cmara en inventario al final de la semana
Estado 2 Tener 2 cmaras en inventario al final de la semana
Estado 3 Tener 3 cmaras en inventario al final de la semana.
De hecho, es claro que las variables aleatorias Xt son dependientes y se pueden evaluar en
forma iterativa por medio de la expresin
2
Una poltica (s, S) es una poltica de revisin continua que consiste en ordenar hasta S unidades siempre que el nivel del inventario baje
de s (S s). Si el nivel de inventario es s o mayor que, no se ordena.
3
mx{( 3 Dt 1 ), 0} si X t 1
X t 1 (1)
mx{( X t Dt 1 ), 0} si X t 1
Se finalizar esta seccin con una explicacin breve de los procesos estocsticos de tiempo continuo. Un
proceso estocstico de tiempo continuo es simplemente un proceso estocstico en el que el estado del
sistema se puede examinar en cualquier tiempo y no slo en instantes discretos. Por ejemplo, se puede
considerar que el nmero de personas en un supermercado a los t minutos despus de abrir, es un proceso
estocstico de tiempo continuo. Los modelos en los que intervienen estos procesos se estudiaran ms
adelante. Como el precio de una accin se puede observar en cualquier tiempo, y no slo al abrir la bolsa,
este se puede considerar como proceso estocstico de tiempo continuo. Al considerarlo as, se ha podido
llegar a importantes resultados en la teora de finanzas, incluyendo la famosa frmula de Black-Scholes para
opcin de precio.
En esencia, la ecuacin (1) dice que la distribucin de probabilidad del estado en el tiempo t + 1 depende del
estado en el tiempo t (it) y no depende de los estados por los cuales pas la cadena para llegar a it, en el
tiempo t, es decir, el estado que tomar el sistema en el futuro inmediato solo depende del presente ms no
del pasado. La probabilidad condicional P X t 1 it 1|X t it se llama probabilidad de transicin, ya que el
sistema en perodo pasa del estado it+1 al estado it.
Adems, si para cualquier par de estados i y j ocurre P X t 1 j| X t i toma el mismo valor para todo t, se
dice que la cadena de Markov es estacionaria en el tiempo y se puede escribir:
P(Xt+1 = j | Xt = i) = P(X1 = j | X0 = i) = pij (3)
donde pij es la probabilidad de que dado que el sistema est en el estado i en el tiempo t, el sistema estar
en el estado j en el tiempo t + 1. Con frecuencia, en una cadena de Markov, a las pij, se les conoce con el
nombre de probabilidades de transicin estacionarias.
La Ecc. 2 indica que la ley de probabilidad que relaciona el estado tomado en el siguiente periodo con el
estado actual del sistema no cambia, o que permanece estacionaria, en el tiempo. Por este motivo, a
menudo se llama Hiptesis de estabilidad a la ecuacin (2). Toda cadena de Markov que cumple con la
Ecc. 2 se llama cadena estacionaria de Markov.
En la mayora de las aplicaciones, las probabilidades de transicin se presentan como una matriz P de
probabilidad de transicin s s. La matriz de probabilidad de transicin P se puede escribir como
p11 p12 p 1S
p p 22 p 2 S
P 21
p S1 pS2 p SS
4
Dado que el estado es i en el tiempo t, el proceso debe estar en algn lugar en el tiempo t + 1. Esto significa
que para cada i,
s
P( X
s
t 1 j | X t i) 1 o bien que p
j 1
ij 1
j 1
Tambin sabemos que cada elemento de la matriz P debe ser no negativo. Por lo tanto, todos los elementos
de la matriz de probabilidad de transicin son no negativos y adems, los elementos de cada rengln deben
sumar 1.
El estudio de las cadenas de Markov tambin necesita que se defina qi como la probabilidad de que la
cadena se encuentre en el estado i en el tiempo 0; en otras palabras, P(X0 = i) = qi. Al vector q = [q1, q2, , qs]
se le llama distribucin inicial de probabilidad de la cadena de Markov.
Ejemplo 2.1 La ruina del jugador (continuacin). Encuentre la matriz de transicin del Ejemplo 1.1.
Solucin Como la cantidad de dinero que tengo despus de t + 1 jugadas depende de los
antecedentes del juego slo hasta la cantidad de efectivo que tengo despus de t jugadas,
no hay duda que se trata de una cadena de Markov. Debido a que como las reglas del juego
no varan con el tiempo, tambin tenemos una cadena de Markov estacionaria. La matriz de
transicin es la siguiente:
Estado
0 1 2 3 4
0 1 0 0 0 0
1 1-p 0 P 0 0
P = 2 0 1-p 0 P 0
3 0 0 1-p 0 p
4 0 0 0 0 1
Una matriz de transicin se puede representar con una grfica en la que cada nodo
represente un estado y arc(i, j) represente la probabilidad de transicin pij. La Fig. 1 es una
representacin grfica de la matriz de probabilidad de transicin para este ejemplo.
Figura 1
Representacin grfica
de la matriz de
transicin para el
ejemplo de la ruina del
jugador
Ejemplo 2.2 (Continuacin) Determine la matriz de transicin del Ejemplo 1.2 de la seccin anterior.
Solucin Como el estado de la urna despus del siguiente lanzamiento de la moneda depende slo
del pasado del proceso hasta el estado de la urna despus del lanzamiento actual, se trata
de una cadena de Markov. Adems, las reglas no varan a travs del tiempo y por lo tanto
tenemos una cadena estacionaria de Markov. La matriz de transicin para el Ejemplo 1.2 es
la siguiente:
Estado
[0, 1, 1] [0, 2, 0] [0, 0, 2] [2, 0, 0] [1, 1, 0] [1, 0, 1]
[0, 1, 1] 0 0 0 0
5
[0, 2, 0] 1 0 0 0 0 0
[0, 0, 2] 1 0 0 0 0 0
P=
[2, 0, 0] 0 0 0 0
[1, 1, 0] 0 0 0
[1, 0, 1] 0 0 0
Para ver cmo se forma la matriz de transicin, determinaremos el rengln [1, 1, 0]. Si el
estado actual es [1, 1, 0], dadas las condiciones del problema, no es posible pasar a
cualquiera de los estados [0, 0, 2], [2, 0, 0] y [1, 1, 0] y por lo tanto la probabilidad de
transicin del estado [1, 1, 0] a cualquiera de estos estados es cero. Ahora bien, si el estado
es [1, 1, 0] para alcanzar el estado [0, 2, 0] debe ocurrir que se escoge una bola sin pintar
(con probabilidad ) y que el resultado del lanzamiento de la moneda sea cara (con
probabilidad ), lo que da una probabilidad de . Pero si lo que ocurre es que se saca una
bola sin pintar (con probabilidad ) y el resultado del lanzamiento de la moneda es sello (con
probabilidad ) se alcanza el estado [0, 1, 1] con probabilidad . Finalmente, si se escoge la
bolla roja (con probabilidad de ), sin importar el resultado del lanzamiento de la moneda a
esta se le cambiar el color y se alcanza as el estado [1, 0, 1] con probabilidad . Lo
anterior se resume en la Tabla 1.
Figura 2
Representacin
grfica de la matriz
de transicin para el
ejemplo de la urna
Ejemplo 2.3 (Continuacin) En los ltimos aos, los estudiantes de finanzas han dedicado mucho
esfuerzo a contestar la pregunta de si el precio diario de una accin se puede describir
mediante una cadena de Markov. Supongamos que el precio diario de una accin, como el
de la compaa de computadoras CSL, se puede representar por una cadena de Markov.
Qu nos dice esto? Simplemente que la distribucin de probabilidad del precio de las
acciones maana depende slo del precio de hoy, pero no de los precios anteriores. Si el
precio de una accin se puede representar como cadena de Markov, los tablistas que
tratan de predecir los precios futuros sobre la base de los comportamientos seguidos durante
el pasado estn mal. Por ejemplo, supongan que el precio diario de una accin de CSL sigue
una cadena de Markov y el precio de hoy es 50 dlares. Entonces, para predecir el precio de
maana no importa si el precio ha aumentado o disminuido durante cada uno de los ltimos
30 das. En cualquier caso, o en cualquier otro caso que pudiera haber conducido al precio
actual de 50 dlares, la prediccin del precio de maana se debe basar slo en el hecho de
que hoy el precio de esas acciones es de 50 dlares. En la actualidad, el consenso es que
para la mayor parte de las acciones, su cotizacin diaria se puede describir con una cadena
de Markov. A esta idea se le llama con frecuencia hiptesis del mercado eficiente.
6
Ejemplo 2.4 Problema de inventario (continuacin). Encontrar la matriz de transicin para el ejemplo
1.4, suponiendo que Dt tiene una distribucin de probabilidad Poisson con parmetro = 13.
Solucin Para obtener p00 es necesario evaluar P(Xt+1=0 | Xt=0). Si Xt=0, entonces Xt+1= mx{(3 Dt+1),
0}, segn la Ecc 1. Pero como Xt+1=0, 3 Dt+1 0 y por lo tanto Dt+1 3. As, p00= P(Dt+1 3) =
1 - P(Dt+1 2) = .080; y p10= P(Xt+1=0 | Xt=1) se puede obtener de una manera parecida. Si
Xt=1, entonces Xt+1= mx{(1 Dt+1), 0}. Pero como Xt+1=0, 1 Dt+1 0 y por lo tanto la
demanda debe ser 1 o ms. Por esto, p10= P(Dt+1 1) = 1 - P(Dt+1 = 0) = .632. Para encontrar
p21= P(Xt+1=1 | Xt=2), observe que Xt+1= mx{(2 Dt+1), 0} si Xt=2. En consecuencia, si Xt+1=1,
entonces la demanda durante la semana tiene que ser exactamente 1. Por lo tanto, p21=
P(Dt+1=1) = .368. Los elementos restantes se obtienen en forma similar, lo que lleva a la
siguiente matriz de transicin:
0 1 2 3
0 .080 .184 .368 .368
1 .632 .368 0 0
P
2 .264 .368 .368 0
3 .080 .184 .368 .368
Figura 3
Representacin grfica para
la matriz de transicin para
el problema de inventario.
PROBLEMAS
e x
Si x 0, 1, 2,
3
La distribucin Poisson esta dada por: P( X x) x!
0, en cualquier otro caso
7
donde pij(n) se llama probabilidad en la etapa n de una transicin del estado i al estado j.
Es claro que pij(1) = pij. Para determinar pij(2) ntese que si el sistema se encuentra hoy en el estado i,
entonces para que el sistema termine en el estado j dentro de 2 periodos, debe pasar del estado i al estado
k y despus pasar del estado k al estado j (Fig. 3). Este modo de razonar nos permite escribir
8
k s
p ij (2) (probabili dad de transicin de i a k )( probabilid ad de transicin de k a j )
k 1
El segundo miembro de la ecuacin (3) es tan slo el producto escalar del rengln i de la matriz P por la
columna j de esa matriz. Por lo tanto, pij(2) es el ij-simo elemento de la matriz P2. Generalizando este modo
de razonar, se puede demostrar que para n > 1,
Pij(n) = elemento ij-simo de Pn (5)
Figura 4
pij(2) = pi1 p1j + pi2 p2j +
+ pispsj
Ejemplo 3.1 Ejemplo de Cola. Suponga que toda la industria de refrescos produce dos colas. Cuando
una persona ha comprado la cola 1, hay una probabilidad de 90% de que su siguiente
compra sea de cola 1. Si una persona compr cola 2, hay 80% de probabilidades que su
prxima compra sea de cola 2.
1. Si actualmente una persona es comprador de cola 2, cul es la probabilidad que compre
cola 1 pasadas dos compras a partir de hoy?
2. Si en la actualidad una persona es comprador de cola 1, cul es la probabilidad que
compre cola 1 pasadas tres compras a partir de ahora?
Solucin Consideraremos que las compras de cada una de las personas son una cadena de Markov,
y que el estado en cualquier momento es el tipo de cola que compr la persona por ltima
vez. Por lo tanto, las compras de cola por parte de cada una de las personas se pueden
representar con una cadena de Markov de dos estados donde
Estado 1 = la persona acaba de comprar cola 1
Estado 2 = la persona acaba de comprar cola 2
Si definimos Xn como el tipo de cola que compra una persona en la n-sima compra futura (la
compra actual = X0), entonces X0, X1, se pueden describir como una cadena de Markov
con la siguiente matriz de transicin:
9
1 2
1 0.90 0.10
P=
2 0.20 0.80
Por lo tanto, p21(2) = 0.34. Esto significa que hay probabilidad 0.34 de que la persona que
compra cola 2 compre cola 1, despus de dos compras a partir de ahora. Con la teora
bsica de probabilidad, podemos obtener esta respuesta siguiendo un camino distinto (Fig.
4). Ntese que p21(2) = (probabilidad que la siguiente compra sea cola 1 y la segunda sea
cola 1) + (probabilidad que la siguiente compra sea cola 2 y la segunda sea cola 1) = p2Ip11 +
p22p21= (0.20)(0.90) + (0.80)(0.20) = 0.34.
Figura 5
Probabilidad de que a
dos periodos a partir de
ahora, un comprador de
cola 2 compre cola 1.
En muchos casos conocemos el estado de la cadena de Markov en el tiempo 0. Como se defini en la Secc.
1.2, sea qi la probabilidad que la cadena est en el estado i en el tiempo 0. Entonces podemos determinar la
probabilidad de que el sistema est en el estado i en el tiempo n mediante el siguiente razonamiento (Fig. 5):
Figura 6
Determinacin de la
probabilidad de estar en
el estado j en el tiempo
n cuando se desconoce
el estado inicial
is
(probabilidad de que el estado original sea i)
i 1
X (probabilidad de pasar de i a j en n transiciones)
is
q i p ij (n)
i 1
Para mostrar el uso de la ecuacin (6) contestaremos la siguiente pregunta: supongamos que el 60% de toda
la gente toma hoy cola 1 y el 40% cola 2. A tres compras a partir de ahora, qu fraccin de los compradores
estar tomando cola 1? Como q = [.60, .40] y
q (columna 1 de P3) = probabilidad de que a tres compras a partir de este momento una
persona tome cola 1,
Para mostrar el comportamiento de las probabilidades de transicin en n etapas para grandes valores de n,
hemos calculado algunas de las probabilidades transicin de n etapas para el ejemplo de la cola y se
muestran en la Tabla 2. Cuando n es grande, p11(n) y p21(n) son casi constantes y tienden a .67. Esto quiere
decir que para n grande, independientemente del estado inicial, hay una probabilidad de 0.67 de que una
persona compre cola 1. Igualmente, vemos que para n grande, tanto p12(n) como p22(n) son casi constantes y
tienden a 0.33. Esto significa que para n grande, haciendo caso omiso del estado inicial, hay una
probabilidad 0.33 de que una persona sea comprador de cola 2. En la Secc. 1.5 estudiaremos con
detenimiento estas tendencias de probabilidad de transicin en la etapa n.
PROBLEMAS
GRUPO A el 4% de las familias rurales pasan a una zona
1. Cada familia colombiana se puede clasificar como urbana y el 6% se mudan a una zona suburbana.
habitante de zona urbana, rural o suburbana. (a) Si una familia actualmente vive en una zona
Durante un ao determinado, el 15% de todas las urbana, cul es la probabilidad que despus
familias urbanas se cambian a una zona suburbana de 2 aos viva en zona urbana? En zona
y el 5% se cambian a una zona rural. Tambin, el suburbana? En zona rural?
6% de las familias suburbanas pasan a zona (b) Supongamos que en la actualidad el 40% de
urbana y el 4% se mudan a zona rural. Por ltimo, las familias viven en zona urbana, el 35% en
11
zona suburbana y el 25% en zona rural. dgito transmitido se registre con el valor opuesto al
Despus de dos aos, qu porcentaje de las final de la transmisin. Si X0 denota el dgito binario
familias colombianas vivir en zona urbana? que entra al sistema, X1 el dgito binario registrado
(c) Qu problemas se pueden presentar si este despus de la primera transmisin, X2 el dgito
modelo se usara para predecir la distribucin binario registrado despus de la segunda
futura de la poblacin en Colombia? transmisin, , entonces {Xt} es una cadena de
Markov.
2. Se pregunta lo siguiente acerca del Problema de la
ruina del jugador (Secc. 1 y Secc. 2). (a) Determine la matriz de transicin.
(a) Despus de jugar dos veces, cul es la (b) Disee un programa que permita encontrar la
probabilidad que tenga $3,000? Cul la de matriz de transicin de 10 pasos P(10). Use
que tenga $2,000? este resultado para identificar la probabilidad
(b) Despus de jugar tres veces, cul es la de que un dgito que entra a la red se registre
probabilidad que tenga $2,000? correctamente despus de la ltima
transmisin.
3. En el Ejem. 2.2, determine las siguientes (c) Suponga que la red se redisea para mejorar
probabilidades de transicin en n etapas: la probabilidad de la exactitud de una sola
(a) Despus de haber pintado 2 bolas, cul es la transmisin de 0.99 a 0.999. Repita el inciso (b)
probabilidad que el estado sea [0, 2, 0]? para encontrar la nueva probabilidad de que
(b) Despus de haber pintado tres bolas, cul es un dgito que entra a la red se registre
la probabilidad que el estado sea [0, 1, 1]? correctamente despus de la ltima
Trace un diagrama como el de la Fig. 5. transmisin.
4. Reconsidere el problema 2 de la seccin anterior. 6. Una partcula se mueve sobre un crculo por
(a) Encuentre la matriz de transicin de n puntos marcados 0, 1, 2, 3, 4 (en el sentido de las
transiciones P(n) para n = 2, 5, 10, 20. manecillas del reloj). La partcula comienza en el
(b) La probabilidad de que llueva hoy es 0.5. Use punto 0. En cada paso tiene una probabilidad de
los resultados del inciso (a) para determinar la 0.5 de moverse un punto en el sentido de las
probabilidad de que llueva dentro de n das, manecillas del reloj (0 sigue al 4) y una probabilidad
para n = 2, 5, 10, 20. de 0.5 de moverse un punto en el sentido opuesto.
5. Suponga que una red de comunicaciones transmite Sea Xn (n 0) la localizacin en el crculo despus
dgitos binarios, 0 o 1, en donde cada dgito se del paso n; {Xn} es entonces una cadena de
transmite 10 veces sucesivas. Durante cada Markov.
transmisin, la probabilidad de que ese dgito se (a) Encuentre la matriz de transicin.
transmita correctamente es de .99. En otras (b) Use el programa hecho en el problema
palabras, se tiene una probabilidad de .01 de que el anterior para determinar la matriz de transicin
P(n) para n = 5, 10, 20, 40, 80.
Figura 7
Representacin grfica
de la matriz de
transicin
DEFINICIN Un estado j es alcanzable desde un estado i si hay una trayectoria que vaya de i a j , es
decir, si para algn n 1, pij(n) > 0.
Entonces, que el estado j sea alcanzable desde el estado i significa que es posible que el sistema llegue
eventualmente al estado j si comienza en el estado i.
De la cadena de Markov con la matriz P de la Fig. 6, tanto S1 = {1, 2} como S2 = {3, 4, 5} son conjuntos
cerrados. Observe que una vez que entramos a un conjunto cerrado no podemos dejarlo nunca. En la Fig. 6
ningn arco comienza en S1 y termina en S2 o principia en S2 y termina en S1. Es evidente que todos los
estados de un conjunto cerrado se comunican y por lo tanto estos no son ms que clases de equivalencia
inducidas por la relacin de comunicacin.
DEFINICIN Una cadena de Markov es irreducible si todos sus estados pertenecen al mismo
conjunto cerrado.
Lo anterior significa que todos los estados de la cadena pertenecen a la misma clase de equivalencia
inducida por la relacin de comunicacin y por lo tanto todos sus estados se comunican. El problema de
inventario corresponde a una cadena de Markov irreducible (Fig. 3), ya que todos sus estados se comunican.
Siempre que entramos a un estado de absorcin, nunca lo podremos dejar. En el Ejem. 1, la ruina del
jugador, los estados 0 y 4 son absorbentes. Es natural que un estado absorbente sea un conjunto cerrado
que slo contenga un estado.
DEFINICIN Un estado i es estado transitorio si exite un estado j alcanzable desde i, pero el estado i
no es alcanzable desde el estado j.
En otras palabras, un estado i es transitorio si hay manera de dejar el estado i de tal modo que nunca se
regrese a l. En el ejemplo de la ruina del jugador, los estados 1, 2 y 3 son estados transitorios. Por ejemplo
13
(Fig. 1), desde el estado 2 es posible pasar por la trayectoria 234, pero no hay modo de regresar al
estado 2 desde el estado 4. Igualmente, en el Ejem. 2.1, [2, 0, 0], [1, 1, 0] y [1, 0, 1] son estados transitorios.
En la Fig. 2, hay una trayectoria desde [1, 0, 1] a [0, 0, 2], pero una vez que se hayan pintado ambas bolas,
no hay manera de regresar a [1, 0, 1].
En el Ejem. 2.1, los estados 0 y 4 son estados recurrentes (y tambin estados absorbentes 4). En el Ejem.
2.2, [0, 2, 0], [0, 0, 2] y [0, 1, 1] son estados recurrentes. Para la matriz de transicin de la Fig. 7 todos los
estados son recurrentes.
La recurrencia es una propiedad de clase, es decir, todos los estados de una clase (o conjunto cerrado) son
recurrentes o son transitorios. Entonces, todos los estados de una cadena de Markov de estado finito
irreducible son recurrentes
DEFINICIN Un estado i es peridico con periodo k >1 si k es el menor nmero tal que todas las
trayectorias que parten del estado i y regresan al estado i tienen una longitud mltiplo de
k. Si un estado recurrente no es peridico, se llama aperidico.
Al igual que la recurrencia es una propiedad de clase, tambin lo es la periodicidad. Esto es, si el estado i en
una clase tiene perodo k, todos los estados de esta clase (o conjunto cerrado) tienen perodo k.
cada estado tiene periodo 3. Por ejemplo, si comenzamos en el estado 1, la nica manera de regresar a ese
estado es seguir la trayectoria 1231 durante, digamos, m veces (Fig. 8). Por lo tanto, cualquier regreso
al estado 1 tomar 3m transiciones, de modo que el estado 1 tiene periodo 3. Donde nos encontremos,
tenemos la seguridad de regresar all tres periodos despus.
Figura 8
Cadena peridica de
Markov con k = 3.
DEFINICIN Si todos los estados de una cadena son recurrentes, aperidicos y se comunican entre s,
se dice que la cadena es ergdica.
El ejemplo de la ruina del jugador no es cadena ergdica porque, por ejemplo, los estados 3 y 4 no se
comunican. El Ejem. 2 tampoco es una cadena ergdica porque, por ejemplo, [2, 0, 0] y [0, 1, 1] no se
4
Todo estado absorbente es recurrente. Lo contrario no es cierto.
14
comunican. El Ejem. 4, el ejemplo de la cola, es cadena ergdica de Markov. De las siguientes tres cadenas
de Markov, P1 y P3 son ergdicas y P2 no es ergdica.
12 12 0 0
13 23 0 1 1 14 1
2
1
4
0 0
P1 12 0 12 Ergdica P2 2 2 2 1 No ergdica P3 23 1
0 Ergdica
0 0 3 3 3
0 14 34 0 2
3
1
3
0 0 4 4
1 3
P2 no es ergdica porque hay dos clases cerradas de estados (la clase 1 = {1, 2} y la clase 2 = {3, 4}) y los
estados en clases diferentes no se comunican entre s.
Despus de las prximas dos secciones, la importancia del concepto presentado en esta seccin ser
aclarada.
PROBLEMAS
GRUPOA Tambin, para cada cadena, determine los estados
1. En el Ejem. 2.1, cul es el periodo de los estados recurrentes, transitorios y absorbentes.
1 y 3? .2 .8 0 0
0 .8 .2
0 0 .9 .1
2. La cadena de Markov de la Secc. 1.3, Prob. 1, es P1 .3 .7 0 P2
ergdica? .4 .5 .1 0
.4 .5 .1
3. Se tiene la siguiente matriz de transicin: 0 0 0 1
0 0 1 0 0 0 5. En la Serie Mundial de Pquer de 1980 participaron
0 0 0 0 0 1 54 jugadores. Cada uno de ellos comenz con
0 0 0 0 1 0 10000 dlares. Los juegos continuaron hasta que
P 1 1 1
uno de los jugadores gan todo el dinero de los
4 4 0 2 0 0 dems. Si se modelara esta Serie Mundial como
1 0 0 0 0 0
cadena de Markov, cuntos estados absorbentes
0 13 0 0 0 23 tendra esa cadena?
(a) Cules estados son transitorios? 6. Cul de las siguientes cadenas es ergdica?
(b) Cules estados son recurrentes? .7 0 0 .3
(c) Identifique todos los conjuntos cerrados de .4 0 .6
.2 .2 .4 .2
estados. P1 .3 .3 .4 P2
(d) Es ergdica esa cadena? .6 .1 .1 .2
0 .5 .5
4. Para cada una de las siguientes matrices. .2 0 0 .8
Determine si la cadena de Markov es ergdica.
El resultado siguiente es vital para comprender las probabilidades de estado estable y el comportamiento a
largo plazo de cadenas de Markov.
TEOREMA 1 Sea P la matriz de transicin de una cadena ergdica de s estados5. Existe entonces un
vector 1 2 s tal que
5
Para ver por qu el teorema 1 no puede ser vlido para una cadena no ergdica, vanse los problemas 9 y 10 al final de esta seccin.
15
1 2 s
s
lim P n 1 2
n
1 2 s
Recuerde que el ij-simo elemento de Pn es pij(n). El teorema 1 establece que para cualquier estado inicial i,
lim pij (n) j
n
Observe que para n grande, Pn tiende a una matriz con renglones idnticos. Esto quiere decir que despus
de mucho tiempo, la cadena de Markov se estabiliza e, independientemente del estado inicial i, hay una
probabilidad j de que nos encontremos en el estado j.
Desafortunadamente, el sistema de ecuaciones que especifica la ecuacin (8) tiene un nmero infinito de
soluciones, porque el rango de la matriz P siempre resulta 1. Para obtener valores nicos de
probabilidades de estado estable, note que para toda n y toda i,
pi1(n) + pi2(n) + ... + pis(n) = 1 (10)
As, despus de reemplazar cualquiera de las ecuaciones (9) por (11), podemos usar el nuevo conjunto de
ecuacuines para despejar las probabilidades de estado estable.
Para mostrar cmo determinar las probabilidades de estado estable, las calcularemos para el Ejem. 4, de la
Cola. Recuerde que la matriz de transicin de ese ejemplo era
0.90 0.10
P
0.20 0.80
1 = 0.901 + 0.202
2 = 0.101 + 0.802
Al despejar 1 y 2, resulta que 1 = 2/3 y 2 = 1/3. Por lo tanto, despus de largo tiempo, hay probabilidad 2/3
de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona dada compre cola 2.
j (1 p jj ) k p kj (12)
k j
Recurdese que en el estado estable, la probabilidad de que el sistema est en el estado j es j. Segn esa
observacin se concluye que
Probabilidad de que una transicin particular deje el estado j
= (probabilidad de que el periodo actual comience en j)
x (probabilidad de que la transicin actual deje j)
= j(1 pjj)
y
Probabilidad de que determinada transicin entre al estado j
= (probabilidad de que el periodo actual comience en k j)
k
Es aceptable la ecuacin (12). Si fuese violada para cualquier estado, entonces para un estado j el lado
derecho de (12) sera mayor que el lado izquierdo. Esto ocasionara una probabilidad de acumulacin en el
estado j y no existira una distribucin de estado estable. Se puede considerar que la ecuacin (12) dice que
en el estado estable, el flujo de probabilidad hacia cada estado debe ser igual al flujo de probabilidad que
sale de cada estado. Esto explica por qu las probabilidades de estado estable se llaman con frecuencia
probabilidades de equilibrio.
Ejemplo 4.1 Suponga, en el Ejem. 3.1, que cada cliente hace una compra de cola durante cualquier
semana (52 semanas = 1 ao). Suponga que hay 100 millones de clientes de cola. La
produccin de una unidad de venta de cola cuesta 1 dlar y se vende a 2 dlares. Una
empresa de publicidad garantiza, por 500 millones de dlares al ao, un decremento del 10%
al 5% de la fraccin de consumidores de cola 1, que se cambian a cola 2 despus de una
compra. Debe contratar a la empresa de publicidad la compaa que fabrica la cola 1?
Solucin En la actualidad, una fraccin 1 = 2/3 de todas las compras es de cola 1. Cada compra de
cola 1 le deja al fabricante 1 dlar. Como hay un total de 52(100,000,000) = 5,200,000,000 de
compras de cola cada ao, las ganancias actuales del fabricante de cola 1, al ao, son
2/3(5200000000) = 3466666667 dlares
Suponga que el sistema se encuentra ahora en el estado i. Entonces, puede suceder que pase en una transicin
directamente al estado j, con probabilidad pij, o que pase a cualquier estado k j, con probabilidad pik. En este ltimo
caso, se necesitar un promedio de 1 + mkj transiciones para pasar de i a j. Este modo de pensar indica que
mij p ij (1) [ p ik (1 m kj )] para j = 1, 2, , s
k j
Como
p ij p ik 1 ,
k j
Al resolver las ecuaciones lineales representadas en (14), podemos encontrar todos los tiempos promedios
de primer pasaje. Se puede demostrar que
1
mii
i
18
Para mostrar el uso de ellas, despejaremos los tiempos promedio de primer pasaje en el Ejem. 3.1.
Recordemos que 1 = 2/3 y que 2 = 1/3. Entonces
1 1
m11 2 1.5 y m22 1 3
3 3
Resolviendo esas ecuaciones encontrarnos que m12 = 10 y m21 = 5. Esto quiere decir que, por ejemplo, una
persona que haba tomado cola 1 tomar un promedio de diez botellas de refresco antes de cambiar a cola
2.
PROBLEMAS
GRUPOA estable.
1. Determine las probabilidades de estado estable 6. Este problema mostrar por qu las probabilidades
para el Prob. 1 de la Secc. 1.3. de estado estable se llaman a veces
2. En el problema de la ruina del jugador (Ejem. 3), probabilidades estacionarias. Sean 1, 2,..., s las
por qu no es razonable hablar de probabilidades probabilidades de estado estable para una cadena
de estado estable? ergdica con matriz P de transicin. Suponga
tambin que la cadena de Markov comienza en el
3. Para cada una de las siguientes cadenas de estado i con probabilidad i.
Markov, determine la fraccin de las veces, a largo (a) Cul es la probabilidad que despus de una
plazo, que se ocupar cada estado. transicin el sistema se encuentre en el estado
.8 .2 0 i? Sugerencia: Usar la Ecc. 8.
2 1 (b) Para cualquier valor de n (n = 1, 2,...), cul es
(a) 13 13 (b) 0 .2 .8
2 2 .8 .2 0 la probabilidad de que una cadena de Markov
se encuentre en el estado i despus de n
(c) Determine todos los tiempos promedio de transiciones?
primer pasaje del inciso (b). (c) Por qu a las probabilidades de estado estable
4. Al principio de cada ao, mi automvil est en se les llama a veces probabilidades
estacionarias?
buen, regular o mal estado. Un buen automvil
ser bueno al principio del ao siguiente, con 7. Se tienen dos acciones. Las acciones 1 siempre se
probabilidad .85, regular con probabilidad .10 y mal venden a 10 dlares o 20 dlares. Si hoy las
con probabilidad .05. Un automvil regular estar acciones 1 se venden a 10 dlares, hay una
regular al principio del ao siguiente con probabilidad 0.80 de que maana se vendan a 10
probabilidad 0.70 y mal con probabilidad 0.30. dlares. Si las acciones 1 se venden hoy a 20
Cuesta 6000 dlares comprar un buen automvil, dlares, hay una probabilidad 0.90 de que maana
uno regular se puede conseguir por 2000 dlares; se vendan a 20 dlares. Las acciones 2 siempre
uno malo no tiene valor de venta, y se debe se venden a 10 dlares o a 25 dlares. Si se
reemplazar de inmediato por uno bueno. Cuesta venden hoy a 10 dlares, hay una probabilidad 0.90
1000 dlares al ao el funcionamiento de un buen de que se vendan maana a 10 dlares. Si se
automvil, y 1500 dlares el de uno regular. Debo venden hoy a 25 dlares, hay una probabilidad 0.85
reemplazar mi automvil tan pronto como se vuelve de que maana se vendan a 25 dlares. En
regular, o debo esperar hasta que se promedio, qu acciones se venden a mayor
descomponga? Suponga que el costo de precio? Determine e interprete todos los tiempos
funcionamiento de un automvil durante un ao promedio de primer pasaje.
depende del tipo de vehculo que se tiene a la
mano al principio del ao (despus de llegar GRUPO B
cualquier auto nuevo, si es el caso). 8. La compaa de seguros Payoff cobra a sus
clientes de acuerdo a su historia de accidentes. Un
5. Se dice que una matriz cuadrada es doblemente
cliente que no haya tenido accidentes durante los
estocstica si todos sus elementos son no ltimos dos aos paga 100 dlares de prima anual.
negativos y los elementos de cada rengln y cada
Quien haya tenido un accidente en cada uno de los
columna suman 1. Para cualquier matriz ergdica y
dos ltimos aos paga una prima anual de 400
doblemente estocstica, demuestre que todos los
dlares. A los que hayan tenido un accidente
estados tienen la misma probabilidad de estado
19
durante slo uno de los ltimos dos aos se les cadena. Sugerencia: Determine si es cierta la
cobra una prima anual de 300 dlares. Un cliente siguiente ecuacin:
que tuvo un accidente durante el ltimo ao tiene lim p12 (n) lim p32 (n)
n n
una probabilidad de 10% de accidentarse durante
este ao. Si un cliente no ha tenido un accidente (c) A pesar del hecho que falla el teorema 1,
durante el ltimo ao, tiene una probabilidad de 3% determine
de sufrir un accidente durante este ao. Durante un lim p13(n), lim p21(n),
N n
ao dado, cul es la prima que paga en promedio lim p43(n), lim p41(n)
un cliente de Payoff? (Sugerencia: En caso de n n
Ejempl0 6.1 Cuentas por cobrar El estado de cuentas por cobrar en una empresa se modela con
frecuencia como cadena absorbente de Markov6. Suponga que una empresa supone que
una cuenta es incobrable si han pasado ms de tres meses de su fecha de vencimiento.
Entonces, al principio de cada mes, se puede clasificar cada cuenta en uno de los siguientes
estados especficos:
Supongamos que los ltimos datos indican que la siguiente cadena de Markov describe
cmo cambia el estado de una cuenta de un mes al siguiente:
6
Este ejemplo se basa en Cyert, Davidson y Thompson (1963).
20
Por ejemplo, si al principio de un mes una cuenta lleva dos meses de vencida, hay 40% de
probabilidades de que no se pague al principio del mes siguiente y, por lo tanto, que tenga
tres meses de retraso y una probabilidad de 60% de que se pague.
Para simplificar el ejemplo, supondremos que despus de tres meses, la cuenta o se cobra o
se considera incobrable. Una vez que una deuda se paga o se considera incobrable, se
cierra y no se tienen ms transiciones. Por lo tanto, Pagada e Incobrable son estados
absorbentes. Como toda cuenta al final o se paga o se considera incobrable, las cuentas
Nueva, 1 mes, 2 meses y 3 meses son estados transitorios. Por ejemplo, una cuenta vencida
hace 2 meses puede seguir la trayectoria 2 meses pagada, pero no hay regreso posible de
Pagada a 2 meses.
Una cuenta nueva normal ser absorbida ya sea como pagada o como incobrable. Una
pregunta de mayor inters es: cul es la probabilidad de que una cuenta nueva finalmente
se pueda cobrar? Ms adelante en esta seccin se encontrar la respuesta.
Ejemplo 6.2 Planificacin de personal La empresa de abogados Mason y Burger emplea a tres
categoras de abogados: principiantes, con experiencia y socios. Durante un ao
determinado hay una probabilidad 0.15 que un abogado principiante sea ascendido a
abogado con experiencia y una probabilidad 0.05 que deje la empresa. Tambin, hay una
probabilidad 0.20 que un abogado con experiencia sea ascendido a socio y una probabilidad
0.10 que deje la empresa. Tambin hay una probabilidad 0.05 que un socio deje la empresa.
La empresa nunca degrada a un abogado.
Surgen muchas preguntas interesantes que la empresa podra contestar. Por ejemplo, cul
es la probabilidad que un abogado principiante recin contratado se vaya antes de ser
socio? En promedio, cunto tiempo permanece un abogado principiante recin contratado
con la empresa? Las respuestas se deducirn despus en esta seccin.
Para toda cadena absorbente se desea conocer: (1) Si la cadena comienza en un estado determinado
transitorio, y antes de alcanzar un estado absorbente, cul el nmero esperado de veces que se llegar a
otro estado transitorio?, o dicho de otra manera, cuntos periodos esperamos pasar por un determinado
estado transitorio antes que se efecte la absorcin, partiendo de otro estado transitorio? (2) Si una cadena
inicia en un estado transitorio dado, cul es la probabilidad terminar en cada uno de los estados
absorbentes?
Para contestar estas preguntes necesitamos formular la matriz de transicin con los estados en una lista con
el siguiente orden: primero los estados transitorios y despus los absorbentes. Para precisar, se supondr
que hay s m estados transitorios (t1, t2, . . ., ts-m) y m estados absorbentes (a1, a2, . . . , am). Entonces la matriz
de transicin para la cadena de absorcin puede escribirse como sigue:
s -m m
21
Columnas columnas
P= s - m renglones Q R
m renglones 0 I
En este formato, los renglones y las columnas de P corresponden, en orden, a los estados t1, t2,, ..., ts-m, a1, a2,
..., am. En este caso, I es una matriz identidad m x m que refleja el hecho de que nunca podemos dejar un
estado absorbente; Q es una matriz (s m) x (s m) que representa las transiciones entre los estados
transitorios; R es una matriz (s m) x m que representa las transiciones desde los estados transitorios a los
estados absorbentes; 0 es una matriz m x (s m) que consta de ceros. Esto refleja el hecho de que es
imposible ir de un estado absorbente a uno transitorio.
Entonces s = 6, m = 2 y
0 0.6 0 0 0.4 0
0 0 0.5 0 0.5 0
Q R
0 0 0 0.4 0.6 0
0 0 0 0 4 4 0.7 0.3 42
Para el Ejem. 6.2, sean
t1 = Principiante
t2 = Experimentado
t3= Socio
a1 = Sale sin ser socio
a2 = Sale siendo socio
y podemos escribir la matriz de probabilidad de transicin como
Entonces s = 3, m = 2, y
0.80 0.15 0 0.05 0
Q 0 0.70 0.20
R 0.10 0
0 0 0.95 33 0 0.05 32
Podemos ahora investigar algunos hechos acerca de las cadenas absorbentes (Kemeny y Snell (1960)):
(1) Si la cadena comienza en un determinado estado transitorio, y antes de alcanzar un estado absorbente,
cul es entonces el nmero esperado de veces en las que el sistema entrar en cada estado
transitorio? Cuntos perodos esperamos pasar en un estado transitorio dado antes de que se lleve a
cabo la absorcin?
Respuesta: Si en este momento estamos en el estado transitorio ti, el nmero esperado de periodos que
pasarn en un estado transitorio tj antes de la absorcin es el ij-simo elemento de la matriz (I Q)-1.
Para una demostracin vea el Prob. 8 al final de esta seccin.
(2) Si una cadena inicia en un estado transitorio dado, qu probabilidad hay de terminar en cada uno de
los estados absorbentes?
Respuesta: Si en este momento estamos en un estado transitorio i, la probabilidad de ser absorbidos
finalmente por un estado absorbente aj es el ij-simo elemento de la matriz (I Q)-1R. Para una
demostracin vea el Prob. 9 al final de esta seccin.
La matriz (I Q)-1 a menudo se llama matriz fundamental de la cadena de Markov. El lector que se
interese en proseguir el estudio de cadenas de absorcin debe consultar Kemeny y Snell (1960).
t3 0 0 20
Entonces,
a1 a2
t1 0.50 0.50
1
(I Q) R t 2 1 2
3 3
t3 0 1
Por lo tanto,
3. Como t3 = Socio, buscamos el nmero esperado de aos que pasa en t3, dado que
comenzamos en t3. Este es justamente el elemento 33 de (I Q)-1R = 20 aos. Es
razonable, porque durante cada ao hay una probabilidad en 20 que un socio deje el
bufete y, por lo tanto, debe tardar un promedio de 20 aos en dejar la empresa.
PROBLEMAS
GRUPO A los que se han suscrito por ms de dos aos, el 4%
cancelan durante cualquier ao dado. En
1. El departamento de admisin del colegio estatal ha promedio, cunto tiempo se suscribe una persona
modelado la trayectoria de un estudiante en esa al Herald Tribble?
institucin como cadena de Markov:
3. Un bosque consta de dos tipos de rboles: los que
tienen de 0 a 1.50 m de alto, y los que son ms
altos. Cada ao, muere el 40% de los rboles que
tienen menos de 1.50 m, el 10% se venden a 20
dlares cada uno, 30% permanecen entre 0 y 1.50
1er 2o 3er 4o Sal Ter m, y el 20% crecen ms de 1.50 m. Cada ao, el
50% de los rboles de ms de 1.50 m se venden a
1er ao .10 .80 0 0 .10 0
50 dlares, el 20% se venden a 30 dlares, y el 30%
2o ao 0 .10 .85 0 .05 0 permanecen en el bosque.
3er ao 0 0 .15 .80 .05 0 (a) Cul es la probabilidad de que muera un
rbol de 0 a 1.50 m antes de venderse?
4o ao 0 0 0 .10 .05 .85
(b) Si se planta un rbol de menos de 1.50 m,
Sale 0 0 0 0 1 0 cul es el ingreso esperado que se va a tener
Termina 0 0 0 0 0 1 con ese rbol?
Se observa el estado de cada estudiante al 4. Las cadenas absorbentes de Markov se usan en
principio de cada semestre de otoo. Por ejemplo, ventas para modelar la probabilidad de que un
si un estudiante es de 3er ao al principio de este cliente que se localiza por telfono compre
semestre de otoo, habr 80% de probabilidades finalmente algn producto. Considere un cliente
de que al principio del siguiente semestre de otoo posible a quien nunca le ha llamado acerca de
sea de cuarto ao, 15% de probabilidad de que an comprar un producto. Despus de una llamada,
sea de 3er ao y 5% de que salga. Suponemos que hay una probabilidad de 60% de que tenga poco
una vez que sale un estudiante ya nunca vuelve a inters en el producto, de 30% que muestre un gran
inscribirse. inters en el producto, y 10% de que sea borrado
(a) S un estudiante entra al colegio a primer ao, de la lista de los posibles clientes de la compaa.
cuntos aos se espera que pasen siendo Se tiene un cliente que actualmente tiene poco
estudiante? inters en el producto. Despus de otra llamada,
(b) Cul es la probabilidad de que se grade un hay 30% de probabilidades de que compre el
estudiante de nuevo ingreso? producto, 20% de probabilidades de que sea
2. El Herald Tribble obtuvo la siguiente informacin borrado de la lista, 30% de que el cliente an tenga
acerca de sus suscriptores: durante el primer ao poco inters y 20% de que exprese un inters alto.
como suscriptores, el 20% cancelan sus Para un cliente que actualmente expresa alto
suscripciones. De los que se han suscrito por un inters, despus de otra llamada hay 50% de
ao, el 10% cancelan durante el segundo ao. De probabilidades de que compre el producto, 40% de
25
probabilidades de que siga teniendo gran inters y (b) Bajo el sistema anterior y bajo el GRP, calcule
10% de probabilidades que tenga poco inters. el nmero esperado de meses que pasa un
(a) Cul es la probabilidad de que un nuevo paciente en el hospital.
posible cliente al final compre el producto?
(b) Cul es la probabilidad de que un posible 7. Freezco, Inc., vende refrigeradores. La fbrica
cliente con poco inters sea borrado de la lista otorga una garanta en todos los refrigeradores que
finalmente? especifica de cambio gratis de cualquier unidad
(c) En promedio, cuntas veces habr que que se descomponga antes de tres aos. Se nos
da la siguiente informacin: (1) el 3% de todos los
llamar por telfono a un nuevo posible cliente
para que compre el producto, o para que sea refrigeradores nuevos falla durante su primer ao
de funcionamiento; (2) el 5% de todos los
borrado de la lista?
refrigeradores con 1 ao de funcionamiento falla
GRUPO B durante el segundo ao de trabajo, y (3) el 7% de
5. En el problema de la ruina del jugador (Ejem. 1), todos los refrigeradores con dos aos de
suponga que p = 0.60. funcionamiento falla durante su tercer ao. La
(a) Qu probabilidad hay de que alcance a ganar garanta no vale para el refrigerador de repuesto.
4 dlares? (a) Use la teora de cadenas de Markov para
(b) Cul es la probabilidad de que salga sin predecir la fraccin de todos los refrigeradores
dinero? que deber cambiar Freezco.
(c) Cul es la duracin esperada del juego? (b) Suponga que a Freezco le cuesta 500 dlares
cambiar un refrigerador y que vende 10,000
6. En el cuidado de pacientes ancianos en un hospital refrigeradores al ao. Si la fbrica redujera el
psiquitrico, una meta principal es la colocacin plazo de garanta a dos aos, cunto dinero
correcta de los pacientes en pensiones u se ahorrara en costos de reemplazo?
hospitales para ancianos. El movimiento de
pacientes entre el hospital, los hogares externos y 8. Para una matriz Q que represente las transiciones
el estado absorbente (la muerte) se puede describir entre estados transitorios en una cadena
mediante la siguiente cadena de Markov. La unidad absorbente de Markov, se puede demostrar que
de tiempo es un mes: (I Q)-1 = I + Q + Q2 + ... + Qn + ...
Hosp Hog Muer (a) Explique por qu es posible esta expresin de
(I Q)-1.
Hospital.991 .003 .006 (b) Defina a mij = nmero esperado de perodos
pasados en el estado transitorio tj antes de la
Hogares .025 .969 .006
M uerte 0 0 1 absorcin, si se sabe que iniciamos en el
estado ti. Suponga que el periodo inicial se
Cada mes que pasa un paciente en el hospital pasa en el estado ti. Explicar por qu mij =
cuesta 655 dlares al estado, y cada mes que pasa (probabilidad de que estemos al principio en el
en una pensin le cuesta 226 dlares, tambin al estado ti) + (probabilidad que estemos en el
estado. Para mejorar la frecuencia de xitos de estado tj despus de la primera transicin) +
colocacin de pacientes, el estado recientemente (probabilidad que estemos en el estado tj
comenz un "programa de resocializacin despus de la segunda transicin) + ... +
geritrica" (GRP) para preparar a los pacientes a (probabilidad que estemos en el estado tj
desempearse en las pensiones. Algunos despus de la n-sima transicin) + .
pacientes se colocan en el GRP y a continuacin (c) Explique por qu la probabilidad de que
pasan a pensiones. Es menos probable que estos estemos inicialmente en el estado tj =
pacientes no se puedan ajustar a sus pensiones. elemento ij-simo de la matriz identidad (s m)
Otros pacientes continan pasando en forma x (s m). Explique por qu la probabilidad de
directa del hospital a las pensiones sin haber que estemos en el estado ti despus de la n-
tomado parte en el (GRP). El estado paga 680 sima transicin = elemento ij-simo de Qn.
dlares cada mes lo que cuesta el paciente en el (d) Ahora explique por qu mij = elemento ij de (I
GRP. El movimiento de los pacientes est Q)-1.
gobernado por la siguiente cadena de Markov:
GRP Hosp Pen.GRP Pensi Muer 9. Defina
bij = probabilidad de terminar en un estado
GRP .854 .028 .112 0 .006 absorbente aj dado que iniciamos en un
Hosp .013 .978 0 .003 .006 estado transitorio tj.
Pen.GRP .025 0 .969 0 .006 rij = ij-simo elemento de R
qik = ik-simo elemento de Q.
Pensi 0 .025 0 .969 .006
B = matriz (s m) x m cuyo ij-simo elemento es bij.
M uerte 0 0 0 0 1 Suponga que iniciamos en el estado ti. En nuestra
(a) El GRP, ahorra fondos al estado? primera transicin, pueden suceder tres tipos de
eventos:
26
Evento 1 Pasamos al estado absorbente aj, con contabilidad y consultora se asigna como se ve en
probabilidad rij. la Tabla 4.
Evento 2 Pasamos al estado absorbente que no es Por ejemplo, contabilidad emplea el 10% de su
aj, con probabilidad k j qik bkj . tiempo en problemas generados por el
departamento de contabilidad, 20% en trabajos
Evento 3 Pasamos al estado transitorio tk, con generados por la divisin 3, etc. Cada ao, cuesta
probabilidad qik. 63 millones de dlares la operacin del
(a) Explique por qu departamento de contabilidad, y 210 millones de
k sm
bij rij q
k 1
b
ik kj
dlares la del departamento de consultora de
administracin. Qu fraccin de esos costos se
(b) Ahora demuestre que bij = ij-simo elemento debe asignar a cada divisin automotriz? Imaginar
de (R + QB) y que B = R + QB. 1 dlar en costos incurridos en trabajos de
(c) Demuestre que B = (I Q)-1R y que bij = ij- contabilidad. Hay una probabilidad 0.20 de que
simo elemento de B = (I Q)-1R. estos costos se asignen a cada divisin automotriz,
probabilidad 0.30 de que se asigne a consultora y
GRUPO C probabilidad 0.10 que se asigne a contabilidad. Si el
9. General Motors tiene tres divisiones automotrices dlar se asigna a una divisin automotriz, sabemos
(divisin 1, divisin 2 y divisin 3). Tambin tiene a qu divisin se debe cargar ese dlar. Por
una divisin de contabilidad y una de consultora ejemplo, si el dlar se carga a consultora,
de administracin. La pregunta es: Qu fraccin repetimos el proceso hasta que, por ltimo, el dlar
del costo de las divisiones de contabilidad y de se cargue a una divisin automotriz. Use el
consultora de administracin se debe cargar a conocimiento de cadenas de Markov para
cada divisin automotriz? Suponemos que el costo establecer como asignar los costos de
total de los departamentos de contabilidad y funcionamiento de los departamentos de
consultora se deben repartir entre las tres contabilidad y asesora entre las tres divisiones
divisiones automotrices. Durante un ao automotrices.
determinado, el trabajo de las divisiones de
Tabla 4
CONTABILIDAD CONSULTORIA DIVISION 2 DIVISION 3
DE ADMON
Contabilidad 10% 30% 20% 20% 20%
Administracin 30% 20% 30% 0% 20%
Ms formalmente, se tiene una organizacin cuyos miembros se clasifican en cualquier punto en el tiempo
en uno de los s grupos (identificados como 1, 2,..., s). Durante cada periodo, una fraccin pij de los que
inician un periodo en el grupo i, al siguiente periodo inician en un grupo j. Tambin, durante cada periodo,
una fraccin pis+1 de todos los miembros del grupo i dejan la organizacin. Sea P la matriz s x (s + 1) cuyo
elemento ij es pij. Al principio de cada periodo, la organizacin contrata Hi miembros del grupo i. Sea Ni(t) el
nmero de miembros del grupo i al principio del periodo t. Una pregunta de inters natural es si Ni(t) tiende a
un lmite a medida que crece t, o no. Si existe el lmite, lo llamaremos Ni. Si cada Ni(t) tiende a un lmite,
llamamos a N = (N1, N2, ... ,Ns) el censo de estado estable de la organizacin.
Si existe censo de estado estable podemos encontrarlo al resolver un sistema de s ecuaciones que se
plantea como sigue: tan slo ntese que para que exista ese estado, debe ser vlido que, para i = 1, 2, ..., s
Nmero de personas que entran al grupo i durante cada periodo
= nmero de personas que salen del grupo i durante cada periodo (14)
27
Despus de todo, si la ecuacin (14) no fuera vlida para todos los grupos, entonces el nmero de personas
en al menos un grupo se acumulara a medida que pasara el tiempo. Ntese que
Nmero de personas que entran al estadoi durante
H i N k p ki
cada perodo k i
Dados los valores de las pij y de las Hi, se puede usar la ecuacin (14) para despejar el censo de estado
estable. A la inversa, dadas las pij y un censo deseado de estado estable, se puede usar la ecuacin (14)
para determinar una poltica de contratacin, especificada por los valores de H1, H2, ... ,Hs, que logre el censo
deseado de estado estable. Podr ser imposible mantener algunos censos de estado estable a menos que
algunas Hi sean negativas, lo que equivale a despedir empleados.
Los dos ejemplos que siguen muestran el uso de la ecuacin de censo de estado estable.
Ejemplo 7.1 Suponga que se puede clasificar a cada norteamericano en uno de tres grupos: nios,
adultos que trabajan, o retirados. Durante un periodo de un ao, 0.959 de los nios an son
nios, 0.04 de los nios pasan a ser adultos que trabajan y 0.001 de los nios mueren.
Durante cualquier ao, 0.96 de los adultos que trabajan permanecen como tales, 0.03 pasan
a ser retirados y 0.01 mueren. Tambin, 0.95 de los retirados permanecen retirados y 0.05 de
los retirados mueren. Nacen mil nios cada ao.
1. Determine el censo de estado estable.
2. Cada persona retirada recibe una pensin de 5000 dlares por ao. El fondo de pensin
se sufraga con pagos de los adultos que trabajan. Cunto dinero debe aportar cada
adulto que trabaja, al ao, para el fondo de pensin?
Solucin 1.Sea
Grupo 1 = nios
Grupo 2 = adultos que trabajan
Grupo 3 = retirados
Grupo 4 = muertos
2. Como en el estado estable hay 14634.14 personas retiradas, en el estado estable reciben
14634.14 x (5000) dlares al ao. Por lo tanto, cada adulto que trabaja debe pagar
14634 .14 5000
3000 dolares por ao
24390 .24
Este resultado es razonable, porque en el estado estable hay 5/3 de adultos que, trabajan en
comparacin con los retirados.
Ejemplo 7.2 Regresemos al bufete de abogados Mason y Burger (Ejem. 6.2). Supongamos que la meta a
largo plazo de ese bufete es tener 50 abogados principiantes, 30 con experiencia y 10
socios. Para alcanzar este censo de estado estable, cuntos abogados de cada tipo deben
contratar cada ao?
Solucin Sean
Grupo 1 = abogados principiantes
Grupo 2 = abogados con experiencia
Grupo 3 = socios
Grupo 4 = abogados que salen del bufete
Mason y Burger desean obtener N1 = 50, N2 = 30 y N3 = 10. Recurdese que en el Ejem. 6.2
0.80 0.15 0 0.05
P 0 0.70 0.20 0.10
0 0 0.95 0.05
La solucin nica de este sistema de ecuaciones es H1 = 10, H2 = 1.5, H3 = -5.5. Esto significa
que para mantener el censo deseado de estado estable, Mason y Burger deben despedir 5.5
socios cada ao. Esto es razonable, porque cada ao hay 0.20(30) = 6 abogados con
experiencia que pasan a ser socios, y una vez que lo hacen, permanecen en ese puesto un
promedio de 20 aos. Esto muestra que para mantener el nmero de asociados en 10,
deben despedirse algunos de ellos. Otra solucin podra ser reducir, a menos de su valor
actual de 0.20, la fraccin de abogados con experiencia que pasan a ser socios cada ao.
Para mayor informacin acerca de los modelos de planeacin de personal, se aconseja consultar el
excelente libro de Grinold y Marshall (1977).
PROBLEMAS
GRUPO A de retirados de 5% a 3%. Cunto aumenta la
1. Este problema es acerca del Prob. 1 de la Secc. contribucin anual para pensiones, debido a esto,
19.6. Supongamos que cada ao el colegio estatal que pagan los adultos que trabajan?
admite 7,000 estudiantes de nuevo ingreso, 500 de 3. La ciudad de Nueva York produce 1,000 ton de
segundo ao y 500 de tercer ao. A largo plazo, contaminacin al da, Jersey City 100, y Newark 50.
cul ser la composicin del estudiantado en ese Cada da 1/3 de la contaminacin de Nueva York
colegio? es llevada por el viento a Newark, 1/3 se disipa y
2. En el Ejem. 9, suponga que el progreso de la 1/3 permanece en Nueva York. Tambin
medicina ha reducido la tasa anual de mortalidad diariamente, 1/3 de la contaminacin de Jersey City
es llevada por el viento a Nueva York, 1/3
29
En la Fig. 2 se muestra la funcin de densidad para la distribucin exponencial. Aqu se observa que f(t)
disminuye rpidamente a medida que t crece. Esto indica que son poco probables valores muy grandes de la
variable y por lo tanto
P0 T t Pt T t t
30
Figura 9
Funcin de densidad
para una variable
aleatoria X con
distribucin
exponencial
Se puede demostrar que la funcin de densidad acumulada para una variable X que tenga distribucin de
probabilidad exponencial esta dada por
0 si x 0
F ( X ) P( X x) x
. (16)
1 e si x 0
Igualmente, e integrando por partes, podemos demostrar que el promedio de una variable aleatoria X con
distribucin exponencial, E(X), est dado por
1
E( X ) . (17)
t
PT t e x dx e x
t e t (20)
Entonces
PT t s T s
PT t s | T s
PT s
De la Ecc. (20),
PT t s T s e (t s ) y PT s e s
As,
e (t s )
PT t s | T s e t PT t
e s
Se puede demostrar que no hay otra funcin de densidad que satisfaga la Ecc. (19) (vase Feller (1957)).
Por razones que se hacen evidentes, se dice que una funcin de densidad que satisfaga la Ecc. (19) tiene la
propiedad de amnesia, o de no memoria. Suponga que sabemos que un sistema no ha cambiado de
estado durante las ltimas s horas, lo que equivale a que nos digan que T > s y que nos pregunten cul es la
probabilidad que no cambie de estado durante las siguientes t horas, es decir T > t + s. Entonces, la Ecc. (19)
31
quiere decir que esta probabilidad no depende del valor de s, y que para todos los valores de s esta
probabilidad es igual a P[T > t]. En resumen, si conocemos que han pasado al menos s unidades de tiempo
durante las cuales el sistema se encuentra en un determinado estado, entonces la distribucin del tiempo
que queda para que el sistema cambie de estado, t, no depende de s. Por ejemplo, si t = 4, entonces la Ecc.
(19) produce, para s = 5, s = 3, s = 2 y s = 0,
PT 4 5 | T 5 PT 4 3 | T 3 PT 4 2 | T 2 PT 4 0 | T 0 PT 4
TEOREMA 1 Los tiempos entre ocurrencia de un mismo tipo eventos son exponenciales con parmetro
si y slo si el nmero de eventos que suceden en un intervalo t sigue una distribucin
de Poisson con parmetro t.
Una variable aleatoria discreta N tiene una distribucin de Poisson con parmetro si, para n = 0, 1, 2, ,
e n
P( N n) (n 0, 1, 2, ) (21)
n!
Si N es una variable aleatoria de Poisson, se puede demostrar que E(N) = VarN = . Si hacemos que Nt sea
el nmero de ocurrencias de eventos de un mismo tipo durante cualquier intervalo de tiempo de longitud t, el
Teorema 1 establece que
e t (t ) n
P( N t n) (n 0, 1, 2, )
n!
Como Nt, es de Poisson con parmetro t, E(Nt) = Varna = t. Un promedio de t llegadas se suceden durante
un intervalo de tiempo de longitud t y, entonces se puede pensar que es el nmero promedio de llegadas
por unidad de tiempo, o rapidez de llegadas.
Qu hiptesis se necesitan para que los tiempos entre ocurrencias de un mismo tipo de eventos sean
exponenciales? El Teorema 2, ms adelante, nos da una respuesta parcial. Veamos las dos hiptesis
siguientes:
1. Las ocurrencias de eventos del mismo tipo definidas en intervalos de tiempo que no se traslapan son
independientes (por ejemplo, el nmero de llegadas que se tiene entre los tiempos 1 y 10 no nos da
informacin alguna acerca del nmero de llegadas entre los tiempos 30 y 50).
2. Para t pequeo, y cualquier valor de t, la probabilidad de que se tenga la ocurrencia de un evento entre
los tiempos t y t + t es t + (t), donde (t) es cualquier cantidad que satisfaga
32
(t )
lim 0
t 0 t
TEOREMA 2 Si son vlidas las hiptesis 1 y 2, entonces N, sigue una distribucin de Poisson con
parmetro t, y los tiempos entre llegadas son exponenciales con parmetro . Esto es,
f(t) = e-t.
EJEMPLO 8.1 El nmero de tarros de cerveza pedidos en el Dicks Pub sigue una distribucin de Poisson
con promedio de 30 cervezas por hora.
1. Calcule la probabilidad de que se pidan exactamente 60 cervezas entre las 10 p.m. y las
12 de la noche.
2. Determine el promedio y la desviacin estndar del nmero de cervezas pedidas entre
las 9 p.m. y la 1 a.m.
3. Calcule la probabilidad de que el tiempo entre dos pedidos consecutivos sea entre 1 y 3
minutos.
Solucin 1. El nmero de cervezas pedido entre las 10 p.m. y las 12 de la noche sigue una
distribucin de Poisson con parmetro 2(30) = 60. De la Ecc. (19), la probabilidad de que se
pidan 60 cervezas entre las 10 p.m. y la medianoche es
e 60 60 60
60!
PROBLEMAS
GRUPO A
1. El tiempo entre llegadas de autobuses sigue una distribucin exponencial con promedio de 60
33
Para modelar este este tipo de de procesos, como antes, se etiquetan los estados posibles del sistema como
1, , s. Comenzando en el tiempo 0 y dejando que el parmetro t corra continuamente, para t 0 sea la
variable aleatoria X(t) el estado del sistema en el tiempo t. Entonces X(t) tomar uno de sus s valores
posibles en un intervalo 0 t < t1, despus saltar a otro valor en el siguiente intervalo t1 t < t2 y as
sucesivamente, donde los puntos de trnsito t1, t2, son puntos aleatorios en el tiempo (no necesariamente
enteros), tal como se ilustra en la Figura 10.
Figura 10
Estados tomados por un
sistema en diferentes
puntos del tiempo
cuando este corre de
manera continua
Por lo tanto, el estado del sistema se ha observado en los tiempos t = s y t = r. Estos estados se etiquetan
como
X(s)=i y X(r)=x(r).
Dada esta informacin, el paso natural es buscar la distribucin de probabilidad del estado del sistema en el
tiempo t = s + t. En otras palabras, determinar el valor de
P[X(s+t) = j | X(s) = i y X(r) = x(r)], para cada j = 0,1,..., s.
Con frecuencia es muy difcil derivar estas probabilidades condicionales. Sin embargo, esta tarea se
simplifica considerablemente si el proceso estocstico involucrado posee la siguiente propiedad clave.
34
PROPIEDAD MARKOVIANA
Un proceso estocstico de tiempo continuo {X(t); t> 0} tiene la propiedad markoviana si
P[X(t+s) = j | X(s)=i y X(r) = x(r)] = P[X(t+s) = j |X(s) = i]
Para toda i,j = 0, 1,, s y para toda r > 0, s > r y t>0.
Observe que P[X(t+s) = j | X(s) = i] es una probabilidad de transicin, igual a las probabilidades de transicin
de las cadenas de Markov de tiempo discreto que se estudiaron en las secciones anteriores, donde la nica
diferencia es que ahora no es necesario que t sea entero.
DEFINICIN
Si las probabilidades de transicin son independientes de s, de manera que
P[X(t+s) = j | X(s) = i] = P[X(t) = j | X(0) = i]
para toda s > 0, se dice que las probabilidades de transicin son estacionarias.
As, un proceso estocstico de tiempo continuo {X(t); t> 0} es una cadena de Markov de tiempo continuo si
cumple la propiedad markoviana.
Aqu se restringir el estudio a las cadenas de Markov de tiempo continuo a aquellas con un nmero finito de
estados y el donde las probabilidades de transicin sean estacionarias.
Suponga que el proceso entra en el estado i en el tiempo t = s. Entonces, para cualquier cantidad de
tiempo fija t > 0, observe que Ti > t si y slo si X(t) = i para toda t en el intervalo s t s + t. Por lo tanto, la
propiedad markoviana (con probabilidades de transicin estacionarias) implica que
sta no es ms que la propiedad de amnesia exhibida por la distribucin de probabilidad exponencial, la cual
significa que la distribucin de probabilidad del tiempo que falta para que el proceso haga una transicin
fuera de un estado dado siempre es la misma, independientemente del valor s, es decir, del tiempo haya
pasado el proceso en ese estado.
Este resultado lleva a una forma equivalente de definir una cadena de Markov de tiempo continuo:
35
p
j 0
ij 1 para toda i.
3. El siguiente estado que se visita despus del estado i es independiente del tiempo que pas en el
estado i.
Igual que las probabilidades de transicin de un paso jugaron un papel primordial al describir una cadena de
Markov de tiempo discreto, el papel anlogo para la cadena de Markov de tiempo continuo lo tienen las
intensidades de transicin.
De manera similar, ij es la tasa de transicin del estado i al estado j en el sentido de que ij es el nmero
esperado de veces que el proceso transita directamente del estado i al estado j por unidad de tiempo que
pasa en el estado i. As,
i ij (23)
j i
Igual que i es el parmetro de la distribucin exponencial para Ti, cada ij es el parmetro de una
distribucin exponencial para una variable aleatoria relacionada que se describe en seguida.
Cada vez que el proceso entra al estado i, la cantidad de tiempo que pasar en el estado i antes de que
ocurra una transicin directa al estado j es una variable aleatoria Tij donde i, j = 0,1,, s y j i. Las Tij, son
variables aleatorias independientes, donde cada Tij tiene una distribucin exponencial con parmetro ij, de
manera que
1
E (Tij ) . (24)
ij
El tiempo que pasa en el estado i hasta que ocurre una transicin (Ti) es el mnimo (sobre j i) de las Tij.
Cuando ocurre la transicin, la probabilidad de que sea al estado j es
36
ij
p ij . (25)
i
Se dice que un par de estados i y j se comunican si existen tiempos t1 y t2 tales que pij(t1) > 0 y pij(t2) > 0. Se
dice que todos los estados que se comunican forman una clase. Si todos los estados en una cadena forman
una sola clase, es decir, si la cadena de Markov es irreducible (lo que se supondr de aqu en adelante),
entonces, pij(t)> 0, para toda t > 0 y todos los estados i y j. Ms an,
lim pij (t ) j
t
siempre existe y es independiente del estado inicial de la cadena de Markov, para j = 0, 1. , s. Estas
probabilidades se conocen comnmente como las probabilidades de estado estable (o probabilidades
estacionarias) de la cadena de Markov.
Dividiendo cada trmino de la anterior igualdad por t y calculando el lmite cuando t tiende a cero se obtiene:
1 p (t ) p kj (t )
j lim k lim
jj
t 0 t t 0 t
k j
j j k kj , para j 1, 2, , s (28)
k j
Este nuevo conjunto de s ecuaciones es ms til para el clculo de las probabilidades de estado estable,
que el obtenido en las Eccs. 27. Nuevamente el conjunto de Ecc. 28 no es linealmente independiente, ya
que se obtiene del conjunto de Eccs. 27 que tampoco lo es, y por lo tanto debe eliminarse una cualquiera de
sus ecuaciones y reemplazarse por
k 0
j 1. (29)
El conjunto de Eccs. 28 tiene una interpretacin intuitiva. El lado izquierdo (j j) es la tasa a la que el
proceso deja el estado j, ya que j es la probabilidad (de estado estable) de que el proceso est en el estado
j y j es la tasa de transicin hacia afuera del estado j dado que el proceso se encuentra en el estado j. De
manera similar, cada trmino de lado derecho (k kj) es la tasa a la que el proceso entra al estado j desde el
estado k, ya que kj es la tasa de transicin del estado k al j dado que el proceso se encuentra en el estado k.
Sumando sobre toda k j, todo el lado derecho proporciona la tasa a la que el proceso entra al estado j
desde cualquier estado. Por eso la ecuacin global establece que la tasa a la cual el proceso deja el estado j
debe ser igual a la tasa en la que el proceso entra al estado j.
Como cada una de las primeras s ecuaciones de estado estable requiere que las dos tasas estn
37
EJEMPLO 9.1 Un taller tiene dos mquinas idnticas que operan continuamente excepto cuando se
descomponen. Como lo hacen con bastante frecuencia, la tarea con ms alta prioridad
para una persona de mantenimiento que trabaja tiempo completo es repararlas en cuanto
lo necesiten. El tiempo requerido para reparar una mquina tiene distribucin exponencial
con media de 12 da. Una vez que se termina la reparacin, el tiempo que transcurre hasta
la siguiente descompostura tiene distribucin exponencial con media de 1 da. Estas
distribuciones son independientes.
Figura 11
Diagrama de tasas
para el ejemplo de
una cadena de
Harkov de tiempo
continuo
Se pueden usar estas tasas para calcular la tasa de transicin total hacia afuera de
cada estado (Ecc. 20), as:
0 01 02 2
1 10 12 3
2 20 21 2
Sustituyendo todas las tasas en las ecuaciones de estado estable (Eccs 18 y 19), se
obtiene
Ecuacin de balance para el estado 0: 20 = 21
38
El siguiente captulo (sobre teora de colas) contiene muchos ejemplos de cadenas de Markov de tiempo
continuo. De hecho, la mayor parte de los modelos bsicos de la teora de colas caen dentro de esta
categora. El ejemplo que se acaba de dar en realidad se ajusta a uno de estos modelos (la variacin de
fuente de entrada finita al modelo M/M/s).
PROBEMAS
GRUPO A
1. Reconsidere el ejemplo presentado al final de esta trabajos. Los trabajos llegan individualmente.
seccin. Suponga que ahora se agrega al taller una Siempre que hay menos de tres trabajos, el tiempo
tercera mquina, idntica a las dos primeras. La que transcurre hasta la siguiente llegada tiene
persona de mantenimiento debe atender a todas distribucin exponencial con media de de da.
las mquinas. Los trabajos se procesan uno a la vez y dejan el
a) Desarrolle un diagrama de tasas para esta centro de inmediato. Los tiempos de procesado
cadena de Markov. tienen una distribucin exponencial con media de
b) Construya las ecuaciones de estado estable. de da.
c) Resuelva estas ecuaciones para obtener las a) Construya el diagrama de tasas para esta
probabilidades de estado estable. cadena de Markov.
2. El estado de una cadena de Markov de tiempo b) Escriba las ecuaciones de estado estable.
continuo est definido como el nmero de trabajos c) Resuelva estas ecuaciones para obtener las
que hay en el momento actual en cierto centro de probabilidades de estado estable.
trabajo, donde se permite un mximo de tres