Cadenas de Markov 1

4. Cadenas de Markov
Algunas veces nos interesa saber cmo cambia una variable aleatoria a travs
del tiempo. Por ejemplo, desearamos conocer cmo evoluciona el precio de las
acciones de una empresa en el mercado a travs del tiempo. El estudio de cmo
evoluciona una variable aleatoria incluye el concepto de procesos
estocsticos. En este captulo explicaremos esos procesos, en especial uno que se
conoce como cadena de Markov. Las cadenas de Markov se han aplicado en reas
tales como educacin, mercadotecnia, servicios de salud, contabilidad y produccin.
Qu es un Proceso Estocstico?
Supngase que observamos alguna caracterstica de un sistema en puntos
discretos en el tiempo (que llamamos 0,1,2,...). Sea Xt el valor de la caracterstica
del sistema en el tiempo t. En la mayor parte de los casos no se conoce X t con
certeza antes del tiempo t y se puede considerar como variable aleatoria. Un
proceso estocstico de tiempo discreto es simplemente una descripcin de la
relacin entre las variables aleatorias X 0, X1, X2,... A continuacin daremos algunos
ejemplos de procesos estocsticos de tiempo discreto.
Ejemplo 1 La ruina del jugador: En el tiempo 0 tengo 2 dlares. En los tiempos
1,2,3... participo en un juego en el que apuesto 1 dlar. Gano el juego con
probabilidad p, y lo pierdo con probabilidad 1-p. Mi meta es aumentar mi capital a 4
dlares, y tan pronto como lo logre se suspende el juego. El juego tambin se
suspende si mi capital se reduce a 0 dlares. Si definimos que X t es mi capital
despus del juego cuando el tiempo es t, si es que lo hay, entonces se puede
considerar que X0, X1, ..., Xt son procesos estocsticos de tiempo discreto. Ntese
que X0=2 es una constante conocida, pero que X1 y las dems Xt son aleatorias. Por
ejemplo X1=3 con probabilidad p y X 1=1 con probabilidad 1-p. Ntese que si X t=4,
entonces Xt+1 y todas las dems X t tambin sern igual a 4. Igualmente, si X t=0,
entonces Xt+1 y todas las dems Xt sern 0 tambin.
Ejemplo 2: Sea X0 el precio de una accin de computadoras CSL al principio de este
da hbil. Tambin sea Xt el precio de esa accin al principio del t-simo da hbil en
el futuro. Es claro que si se conocen los valores de X 0, X1, ..., Xt nos dicen algo de la
distribucin de probabilidad de Xt+1; el asunto es: Qu nos dice el pasado (los
precios de las acciones hasta el tiempo t) acerca de X t+1? La respuesta de esta
pregunta es de importancia crtica en finanzas.
Un proceso estocstico de tiempo continuo es simplemente un proceso
estocstico en el que el estado del tiempo se puede examinar en cualquier tiempo y
no slo en instantes discretos. Por ejemplo, se puede considerar que el nmero de
personas en un supermercado a los t minutos despus de abrir, es un proceso
estocstico de tiempo continuo. As tambin, el precio de una accin se puede
observar en cualquier tiempo, y no slo al abrir la bolsa, por lo que se puede
considerar como proceso estocstico de tiempo continuo. Al considerarlo as, se ha
podido a importantes resultados en la teora de finanzas, incluyendo la famosa
frmula de Black-Scholes para opcin de precio.
Cadenas de Markov 2

Definicin de Cadena de Markov

Cadenas de Markov es un modelo matemtico que se basa en dos conceptos:
estado y transicin. El sistema ocupa un estado i con probabilidad p i y, despus de
un periodo, procede a una transicin para el estado j con probabilidad de transicin
tij. Sean N los estados del sistema, entonces, para cualquier estado i:
N

t
j 1
ij 1, con 0 tij 1

En los modelos ms simples de cadenas de Markov, los valores de las

probabilidades de transicin t ij no dependen ni de cmo el sistema lleg al estado i,
ni del periodo n. Las probabilidades de ocupar un estado i dependen del nmero de
periodos o de transiciones efectuadas.
Por lo tanto una secuencia de intentos de un experimento es una cadena de
Markov si:
a) El resultado del m-simo intento depende slo del resultado del intento (m-1)-
simo y no de los resultados en los intentos anteriores, y
b) La probabilidad de pasar del estado i al estado j en dos intentos sucesivos del
experimento permanece constante.

Aplicacin 1:
Participaciones de mercado
Una investigacin de mercados sobre el consumo de 3 marcas de cerveza: A, B y C
por 1000 personas dar al inicio (n=0) y despus de un periodo (n=1) los siguientes
resultados:

Se desea saber:
a) El porcentaje de los clientes que consumen cada marca de cerveza despus
de un periodo.
Cadenas de Markov 3

b) El porcentaje de los clientes que consumen cada marca de cerveza despus

de 2 periodos.
c) A la larga cmo se reparte el mercado de bebedores de cerveza entre las tres
marcas?
Grficamente se tiene:

Observamos que estamos delante de un fenmeno dinmico, en el cual A aument

su participacin en el mercado de 20% a 29%.
Siendo p la probabilidad de que un consumidor est demostrando preferencia por
uno de los tres productos (osea la participacin de cada producto en el mercado) y
observando que cada producto (o el hecho de estar consumiendo un determinado
producto) corresponde a un estado, resulta:
Xo = [pA(0) pB(0) pC(0)] = [0,2 0,3 0,5]
Donde X0 es el vector de distribucin de estados al inicio. y
X1 = [0,29 0,27 0,44]
Donde X1 es el vector de distribucin de estados despus de un periodo (n=1).
Las probabilidades del vector X1 nos indican que despus de un periodo, el
comportamiento del mercado ser: 29% consume el producto A, 27% el B y 44% el
producto C.
Deseando analizar como ocurren estas alteraciones, y utilizando el cuadro
correspondiente a las transiciones, se tiene que:
La probabilidad de que un consumidor de A (o en A) permanece con A es:
140
tAA = 0,7.
200
20
La probabilidad de que un consumidor en A pase a C es t AC = 0,1.
200
Entonces las probabilidades de transicin resultan:
A B C
A 0,7 0,2 0,1
0,4
T = B 0,1 0,5

C0,24 0,16 0,6

Donde observamos que la suma de los elementos de cada fila siempre es 1.

Para visualizar mejor el fenmeno, diseamos la siguiente cadena:
Cadenas de Markov 4

La probabilidad de ocupar estado j despus de un periodo es:

N
pj(1)= pi( 0).tij
i 1

o en forma matricial: X1 = X0T

Despus de la segunda transicin (n=2), resulta:
X2 = X 1 T

0.7 0.2 0.1

X 2 0.29 0.27 0.44 0.1 0.5 0.4

0.24
0.16
0.6

X2 = [0,34 0,26 0,40]

Lo que significa que despus de 2 periodos, el comportamiento del mercado ser:
34% consume el producto A, 26% el B y 40% el producto C.
Tambin X2= X0T T = X0T2
Despus de la tercera transicin (n=3), resulta:
X3 = X2 T = X0T2 T = X0T3

Despus de n transiciones se tiene:

Xn=Xn-1T =X0Tn-1T =X0Tn
Donde Xn es el vector de distribucin de probabilidad de estados en el periodo n.
Despus de muchas transiciones, se llega a una situacin estacionaria o de rgimen
de equilibrio dinmico (osea, lo contrario de transitoria) en la cual las participaciones
de mercado no se alteran ms. En este caso:
Xn = Xn-1 =
donde : Vector de distribucin de estado estable).
Cadenas de Markov 5

Por lo tanto: = .T
Deseando calcular los elementos de =[A B C], tenemos:
0,7 0,2 0,1
0,4
[A B C] = [A B C] 0,1 0,5

0,24
0,16 0,6

adems de:
A + B + C =1
El sistema de ecuaciones sera:
A + B + C =1
0,7A + 0,1B + 0,24C = A
0,2A + 0,5B + 0,16C = B
0,1A + 0,4B + 0,6C = C
Este sistema es redundante y, para resolverlo, eliminamos una de las tres ltimas
ecuaciones (por ejemplo la ltima).
A + B + C =1
-0,3A + 0,1B + 0,24C = 0
0,2A - 0,5B + 0,16C = 0
y la solucin es: = [ 0,376 0,265 0,359]
Observamos el aumento en la participacin de A, que pasa de 20% a 37.6%;
principalmente a costa de C, que cae de 50% a 35,9%. Entonces si C quiere
promover una campaa publicitaria para quebrar el proceso, debera,
principalmente, dirigirla hacia los actuales consumidores de A, ya que t AC=0,1 (muy
pequeo). Se observa que tBC es bastante grande.
La siguiente tabla muestra las distribuciones de estado para diferentes periodos de
transicin:
Cadenas de Markov 6

Se observa que a partir del periodo 7, las variaciones en los tres estados son casi
despreciables.

ANLISIS ECONOMICO: Si la marca A, por cada cliente ganado aumenta sus

ventas en $40 por cuntos perodos se debe realizar la campaa publicitaria,
sabiendo que esta cuesta $500 por semana?
Para dar respuesta a esta inquietud realizamos el siguiente cuadro:

Participacin nmero de incremento Ingresos Costo

Periodo de mercado clientes de clientes adicionales publicidad Utilidad
0 0.2 200
1 0.29 290 90 $3600 $500 $ 3100
2 0.3356 336 46 1840 500 340
3 0.3575 358 22 880 500 380
4 0.3676 368 10 400 500 -100

En consecuencia se deber realizar la campaa durante 3 semanas, luego cambiar.

NOTA.- Para que exista un nico vector de distribucin estacionaria , se requiere

que T sea regular.
T = [tij] es regular si tij > 0 en al menos una de sus potencias T m
Ejemplos:
1 / 2 1 / 2
a) T= es regular ya que tij > 0
1 / 3 2 / 3
Cadenas de Markov 7

1 / 2 1 / 2 2 1 / 4 3 / 4
b) T= ,T= ,
0 1 0 1

1 / 8 7 / 8
T3= ,
0 1

entnces cualquier Tm no cumplir la condicin tij > 0 ya que siempre existir el

elemento t21= 0, por lo tanto T no es regular.
0 1/ 2 1 / 2 1 / 2 1/ 4 1 / 4
1 / 2 , T2= 1 / 4 1 / 4 ,
c) T= 1 / 2 0

1/ 2

1 / 2 1/ 2 0 1 / 4 1/ 4 1 / 2

por lo tanto T es regular.

Si T es matriz regular existe un vector nico de tal forma que T = donde es
llamado a menudo vector de distribucin de estado estable compuesto por
probabilidades de estar en cada estado a largo plazo.

Aplicacin 2:
Pronstico del clima

Las probabilidades del estado del tiempo para la ciudad de Arequipa el mes de
enero del presente ao fueron extradas de la base de datos de SENAMHI Arequipa.
Dichos valores han sido tomados de un dia anterior al dia que iran a ser puestos a
conocimiento de la poblacin arequipea. Estos datos se pueden expresar mediante
la siguiente matriz de transicin:

La matriz P representa el modelo del clima, en donde dice que un dia es soleado es
90% posible de que sea seguido por otro dia soleado y un dia lluvioso es 50%
posible de que sea seguido por otro dia lluvioso. Las columnas pueden ser
nombradas como soleado y lluvioso respectivamente y las filas pueden ser
nombradas en el mismo orden.

(P) es la probabilidad que, dado un dia de tipo j, sea seguido por un dia i.
Ntese que las columnas de P suman 1, es as porque P es una matriz estocstica.

Pronosticando el clima.-

El clima en el dia 0 es conocido como soleado. Esto es representado por el vector en

donde la entrada de soleado es 100% y la de lluvioso es 0%
Cadenas de Markov 8

El clima en el da 1 puede ser pronosticado de la siguiente manera

Por eso, hay un 90% de posibilidad de que el dia 1sea tambien soleado

El clima para el da 2 puede ser pronosticado de la siguiente manera:

Las reglas generales para el da n son:

Estado estacional del clima.-

Para este caso, las predicciones para el clima en das mas distantes son
incrementalmente imprecisos y tienden a tornarse en un vector de estado estacional.
Este vector representa las probabilidades de condiciones soleadas y lluviosas para
todos los das y son independientes del clima inicial.
El vector del estado estacional se define como:

pero solo converge si P es una matriz de transicin regular.

Desde que q es independiente desde condiciones iniciales, no debe ser alterada
cuando transformada por P. Esto genera un eigenvector (vocablo aleman que
significa vector propio) y significa que puede ser derivado de P.

Par el caso que se venia tratando:

Cadenas de Markov 9

Asi que;
q1 5q2 = 0

Estableciendo s = q2 asi que s = q1. Se require s + 5s = 1 para lo cual s= 0.167. El

vector estacional seria el siguiente:

Repuesta.- En conclusin, a final de cuentas, 83% de los das fueron soleados

en la cuidad de Arequipa para el mes de Enero del presente ao.

CADENAS DE MARKOV ABSORBENTES

Muchas aplicaciones interesantes de las cadenas de Markov incluyen cadenas en
las que algunos de los estados son absorbentes y el resto son transitorios. A esas
cadenas se les llaman cadenas absorbentes.
Un estado i de una cadena de Markov se dice que es absorbente si, una vez
alcanzado el estado i en algn intento, el sistema permanece en el estado i en todos
los intentos futuros.
Una cadena de Markov es absorbente si tiene uno o ms estados absorbentes y es
posible llegar a un estado absorbente a partir de cualquiera de los estados no
absorbentes o transitorios.
Nota.- Puede ser necesario pasar por varios estados transitorios para llegar a un
estado absorbente.
Si el estado i es absorbente, la probabilidad de transicin de i a j es de 1. En otras
palabras, el estado i es absorbente s y slo s t ij=1. El nmero de estados
absorbentes de una cadena de Markov es igual al nmero de unos en la
Cadenas de Markov 10

diagonal de su matriz de transicin. La probabilidad de que el sistema est

en un estado transitorio disminuye al aumentar el nmero de intentos
Aplicacin 3:
Planificacin de Personal
La empresa de abogados Los Justicieros emplea a tres categoras de abogados:
s-m m
columnas columnas
s m renglones Q R
T=
m renglones 0 I

principiantes, con experiencia y socios. Durante un ao determinado hay una

probabilidad 15% que un abogado principiante sea ascendido a abogado con
experiencia y una probabilidad 5% que deje la empresa. Tambin hay una
probabilidad 20% que un abogado con experiencia sea ascendido a socio y una
probabilidad 10% que deje la empresa. Tambin hay una probabilidad 5% que un
socio deje la empresa. La empresa nunca degrada a un abogado.
Surgen muchas preguntas interesantes que la empresa podra contestar. Por
ejemplo:
1. Cul es la duracin promedio de un abogado joven recin contratado en la
empresa?.
2. Cul es la probabilidad de que un abogado joven llegue a ser socio?.
3. Cul es la duracin promedio que pasa un socio en el bufete? entre muchas
otras.
Modelaremos la trayectoria de un abogado en Los Justicieros como cadena
absorbente con la siguiente matriz de probabilidad de transicin:

Los dos ltimos estados son estados absorbentes y los dems son transitorios. Por
ejemplo, Experimentado es estado transitorio, por que hay una trayectoria de
Experimentado a Sale sin ser socio, pero no hay trayectoria que regrese de Sale sin
ser socio a Experimentado. Suponemos que una vez que un abogado sale de la
empresa nunca regresa.
Para toda la cadena absorbente se desea conocer: (1) Si la cadena comienza en un
determinado estado transitorio, y antes de alcanzar un estado absorbente, cul es
el nmero esperado de veces que se entrar en cada estado? Cuntos periodos
esperamos pasar en un estado transitorio dado antes que se efecte la absorcin?.
Cadenas de Markov 11

(2) Si una cadena inicia en un estado transitorio dado, cul es la probabilidad de

terminar en cada uno de los estados absorbentes?.
Para contestar estas preguntas necesitamos formular la matriz de transicin con los
estados en una lista con el siguiente orden: primero los estados transitorios y
despus los absorbentes. Para precisar, se supondr que hay s-m estados
transitorios (t1, t2, ..., ts-m) y m estados absorbentes (a 1, a2, ..., am). Entonces la matriz
de transicin para la cadena de absorcin puede escribirse como sigue:
En este caso, I es una matriz identidad mxm, que refleja el hecho de que nunca
podemos dejar un estado absorbente; Q es una matriz (s-m)x(s-m) que representa
las transiciones entre los estados transitorios; R es una matriz (s-m)xm que
representa las transiciones desde los estados transitorios a los estados absorbentes;
0 es una matriz mx(s-m) que consta de ceros. Esto refleja de que es imposible ir de
un estado absorbente a uno transitorio.
Aplicando esta notacin a la aplicacin, tenemos que:
t1= Principiante,
t2 = Experimentado,
t3= Socio,
a1= Sale sin ser socio y
a2 = Sale siendo socio.
y podemos escribir la matriz de probabilidad de transicin como:

Entonces s=5, m=2, y

0,80 0,15 0 0,05 0

0
Q= 0 0,70 0,20
R = 0,10

0 0 0,95
3x 3
0 0,05
3x 2

Para dar respuesta a las preguntas formuladas anteriormente, es necesario obtener

las matrices: (I-Q)-1 y (I-Q)-1R, la informacin contenida en estas matrices
debidamente interpretadas, permite tomar decisiones.
Entonces,
0,20 0,15 0
0,20
I-Q = 0 0,30

0 0 0,05

Con el mtodo Gauss-Jordan o el mtodo de la matriz adjunta, se encuentra que:

Cadenas de Markov 12

t1 t2 t3
t1 5 2,5 10
-1 40 / 3
(I-Q) = t 2 0 10 / 3

t 3 0 0 20
Entonces,
a1 a2
t1 0,50 0,50
2 / 3
(I-Q)-1R = t 2 1 / 3
t3 0 1

Interpretacin: (1) Si en este momento estamos en el estado transitorio t i, el nmero

esperado de periodos que pasarn en un estado transitorio t j antes de la absorcin
es el ij-simo elemento de la matriz (I-Q) -1. (2) Si en este momento estamos es un
estado transitorio ti, la probabilidad de ser absorbidos finalmente por un estado
absorbente aj es el ij-simo elemento de la matriz (I-Q) -1R.

Por lo tanto,
1. El tiempo esperado que un abogado principiante permanece en la empresa =
(duracin esperada del abogado principiante en la empresa como principiante) +
(tiempo esperado que el abogado principiante permanece en la empresa como
abogado con experiencia) + (tiempo esperado que el abogado principiante
permanece en la empresa como socio). Entonces
- Tiempo esperado como principiante = (I-Q)-111=5
- Tiempo esperado como con experiencia = (I-Q) -112=2,5
- Tiempo esperado como socio = (I-Q) -113 =10
Por lo tanto, el tiempo total esperado que un abogado principiante permanece en la
empresa es 5 + 2,5 + 10 = 17,5 aos.
2. La probabilidad de que un abogado principiante recin ingresado llegue a ser
socio es tan slo la probabilidad de que salga de la empresa siendo socio. Como t 1
= Principiante y a2 = Sale siendo socio, la respuesta es el elemento 12 de (I-Q) -1R =
50.
3. Como t3 = Socio, buscamos el nmero esperado de aos que pasa en t 3, dado
que comenzamos en t3. Este es justamente el elemento 33 de (I-Q) -1 = 20 aos. Es
razonable, por que durante cada ao hay una probabilidad de 0,05 (1 en 20) que
un socio deje el bufete y, por lo tanto, debe tardar un promedio de 20 aos en dejar
la empresa.

Aplicacin 4:
Cadenas de Markov 13

MODELOS DE PLANEACION DE PERSONAL

Muchas empresas, como por ejemplo Los Justicieros del ejemplo de planificacin
de personal, emplean varias categoras de personal. Con fines de planeacin a largo
plazo, a menudo es til poder predecir el nmero de empleados de cada categora
que, si las tendencias actuales continan, estarn disponibles en el estado estable.
Si existe censo de estado estable podemos encontrarlo al resolver un sistema de s
ecuaciones que se plantea como sigue: tan slo ntese que para que exista ese
estado, debe ser vlido que, para i=1, 2, ..., S,
Nmero de personas que entran al grupo i durante cada periodo = Nmero de
personas que salen del grupo i durante cada periodo
Ejemplo: Regresemos al bufete de abogados Los Justicieros (Ejemplo anterior)
Supongamos que la meta a largo plazo de ese bufete es tener 50 abogados
principiantes, 30 con experiencia y 10 socios. Para alcanzar este censo de estado
estable, cuntos abogados de cada tipo deben contratar cada ao?.
Solucin: Sean
Grupo 1 = abogados principiantes
Grupo 2 = abogados con experiencia
Grupo 3 = socios
Grupo 4 = abogados que salen del bufete
Censo de estado estable: N1=50, N2=30 y N3=10
Adems:
H1= nmero de abogados principiantes a contratar
H2 = nmero de abogados con experiencia a contratar
H3 = nmero de abogados asociados a contratar
Entonces:
Nmero que ingresa al grupo i = nmero que sale del grupo i
H1 = (0,15 + 0,05)50 (abogados principiantes)
(0,15)50 + H2 = (0,20 + 0,10)30 (abogados con experiencia)
(0,20)30 + H3 = (0,05)10 (abogados asociados)
La solucin nica de este sistema de ecuaciones es H 1=10, H2=1,5, H3=-5,5. Estos
significa que para mantener el censo deseado de estado estable, Los Justicieros
deben despedir 5,5 socios cada ao. Esto es razonable, por que cada ao hay
0,20(30) = 6 abogados con experiencia que pasan a ser socios, y una vez que lo
hacen, permanecen en ese puesto un promedio de 20 aos. Esto muestra que para
mantener el nmero de asociados en 10, deben despedirse algunos de ellos. Otra
solucin podra ser reducir, a menos de su valor actual de 0,20, la fraccin de
abogados con experiencia que pasan a ser socios cada ao.

MAS APLICACIONES:
Cadenas de Markov 14

APLICACIN 1.- Una empresa necesita contratar copiadoras en renta, escogiendo

entre dos mquinas. Las dos mquinas hacen copias que no se pueden distinguir.
Cada mquina funciona o no funciona. Segn los registros anteriores, se ha
determinado que si la mquina I trabaja un da determinado, la probabilidad es de
0,95 que trabaje el da siguiente. Si no trabaja un cierto da, la probabilidad es de
0,75 que funcione el siguiente da. Si la mquina II trabaja hoy, la probabilidad es de
0,9 que trabaje maana. Si no funciona hoy, la probabilidad es de 0,8 que trabaje
maana. Qu mquina debe rentar la empresa?.
SOLUCIN:
Siendo los estados: F (funciona) y NF (no funciona), elaboramos las matrices de
transicin de estados respectivas.
Matriz de transicin de estados (T) para la Mquina 1

Matriz de transicin de estados para la Mquina 2

Luego hallamos los vectores de estado estable para ambas mquinas aplicando la
relacin:
= .T
Siendo = [ x1 x2 ]
Donde :
x1: probabilidad de estado estable de que la mquina Funcione
x2: probabilidad de estado estable de que la mquina No Funcione
Adems x1+x2=1
Para la mquina 1 tenemos:
[ x1 x2 ] = [ x1 x2 ]*T
x1+x2=1
Reemplazando los datos de matriz de Transicin de estados de la mquina 1 y
resolviendo el sistema de ecuaciones tenemos:
x1= 0.9375 y x2=0.0625
entonces 1 = [ 0.9375 0.0625 ]
Para la mquina 2 tenemos 2 = [ 0.8889 0.1111 ]
Por lo tanto se observa que la mquina 1 tiene mayor probabilidad de
funcionamiento (93.75%) frente a 88.89% de la mquina 2, en consecuencia la
empresa debe rentar la mquina 1.
Cadenas de Markov 15

APLICACIN 2.- Una pequea tienda de videos lleva un control del nmero de
veces por semana que es rentado un video y estima las siguientes probabilidades de
transicin (ver matriz siguiente).

Donde: los estados en orden son: 5 veces, 4 veces, 3 veces, 2 veces, 1 vez y 0
veces
Por ejemplo, si un video se rent 5 veces esta semana, entonces hay una
probabilidad de 80% de que sea rentado 5 veces la siguiente semana, 10% de
probabilidades de que sea rentado 4 veces y 10% de probabilidades de que sea
rentado 3 veces. Cuando un video es rentado 0 veces, este se desecha.
La siguiente matriz fue calculada utilizando el las funciones de Excel:

a) Suponga que un video fue rentado 5 veces esta semana. Cul es la

probabilidad de que sea rentado 4 veces durante la siguiente semana?.
Entonces se tiene que:
Xo = [ 1 0 0 0 0 0 ]
Hallamos X1
X1 = XoT
X1 = [ 0.8 0.1 0.1 0.0 0.0 0.0 ]
Entonces la probabilidad de que sea rentado 4 veces la prxima semana es
10%.

b) Suponga que un video fue rentado 3 veces esta semana. Cul es la

probabilidad de que sea rentado 2 veces durante la segunda semana?.
Entonces se tiene que:
Xo = [ 0 0 1 0 0 0 ]
Hallamos X2
X1 = XoT
Cadenas de Markov 16

X1 = [ 0.0 0.0 0.6 0.3 0.1 0.0 ]

X2 = X1T
X2 = [ 0.0 0.0 0.51 0.30 0.15 0.004 ]
Entonces la probabilidad de que sea rentado 2 veces la segunda semana es
30%.

c) Suponga que un video fue rentado 5 veces esta semana. En promedio, cuntas
veces ms ser rentado antes de que se deseche?.
Para responder esta pregunta usamos la informacin de la matriz (I-Q) -1 (primera
fila)
5(5)+ 1.667(4) + 6.481(3) + 3.519(2) + 2.5(1) = 61 veces
d) Suponga que esta semana se rent 5 veces. En promedio, cuntas semanas
ser rentado por lo menos 2 veces?.
Para responder esta pregunta usamos la informacin de la matriz (I-Q) -1 (primera
fila)
3.519 semanas ser rentado 2 veces
6.481 semanas ser rentado 3 veces
1.667 semanas ser rentado 4 veces
5.000 semanas ser rentado 5 veces
Entonces ser rentado por lo menos 2 veces 3.519 + 6.481 + 1.667 + 5 = 16.7
semanas.

e) Suponga que un video fue rentado 3 veces esta semana. En promedio, cuntas
veces ms ser rentado?.
Para responder esta pregunta usamos la informacin de la matriz (I-Q) -1 (tercera
fila)
0(5)+ 0(4) + 6.667(3) + 3.333(2) + 2.5(1) = 29 veces.

f) Suponga que un video fue rentado 4 veces esta semana. Cul es la

probabilidad de que sea desechado?.

1
1

1
Hallamos la matriz (I-Q)-1*R =
1
1

1

Usamos la informacin de la segunda fila: La probabilidad de que sea desechado

es 100%
Cadenas de Markov 17

APLICACIN 3.- Juan es propietario de un terreno con 5000 pinos. Cada ao Juan
le permite a los detallistas de rboles de navidad seleccionar y cortar rboles para la
venta a clientes individuales. Juan protege los rboles pequeos (por lo general de
menos de 120 cm. de alto) de manera que estn disponibles para la venta en aos
futuros. Actualmente estn clasificados 1500 rboles como protegidos, en tanto que
los 3500 restantes estn disponibles para corte. Sin embargo, aunque en un ao
dado un rbol est disponible para corte, quizs no sea seleccionado sino hasta en
aos futuros. Aunque la mayora de los rboles que no se cortan en un ao dado
viven hasta el siguiente, todos los aos se pierden algunos pinos enfermos.
Al estudiar la operacin de los rboles de navidad de Juan como un proceso de
Markov con periodos anuales, definimos los cuatro estados siguientes:
Estado 1. Cortado y vendido.
Estado2. Perdido por enfermedad.
Estado3. Pequeo para cortarse
Estado4. Disponible para cortar, pero no cortado ni vendido
La siguiente matriz de transicin es apropiada

Aplicando el Excel hallamos las siguientes matrices:

a) Cuntos de los 5000 rboles se vendern y cuntos se perdern?.

1500*0.52 + 3500*0.8 = 3580 rboles se vendern

1500*0.48 + 3500*0.2 = 1420 rboles se perdern

b) Cuntos aos se espera que pase un rbol pequeo en el vivero antes de ser
cortado y vendido o perdido por enfermedad?.

2 + 0.8 = 2.8 aos

c) Cul es la probabilidad de que un rbol disponible para cortar sea cortado y

vendido?. y cul es la probabilidad de que se pierda por enfermedad?.
Cadenas de Markov 18

80% de probabilidad de que un rbol disponible para cortar sea cortado y

vendido y
20% de probabilidad de que un rbol disponible para cortar se pierda por
enfermedad.

APLICACIONES PROPUESTAS

APLICACIN 1.- Una mquina puede estar en dos estados: F funciona o Q

averiada, con tFF = 0.8, tQQ = 0.4, tQF = 0.6, tFQ = 0.2. Cuando funciona da una
utilidad de 480 por periodo y, cuando est averiada, los gastos son de 160 por
periodo, considerando la situacin de rgimen estable:
a) Calcule la ganancia media por periodo.
b) Verifique si un plan de mantenimiento preventivo que cuesta $50 por periodo,
alterando: tFF a 0.9 y tQQ a 0.3 vale la pena?.

APLICACIN 2.- Calcule la situacin de rgimen para el modelo cuyas

probabilidades de transicin son las siguientes:
t11= 0.4 t22=0.3 t31=0.5
t12= 0.3 t23=0.7 t33=0.5
t13= 0.3
Repita en el caso de t23=0,4 en vez de 0,7.

APLICACIN 3.- Un asaltante notorio puede estar en uno de tres estados:

i) Suelto, practicando asaltos.
ii) Preso en la delegacin de polica, esperando su transferencia.
iii) Preso en la crcel.

Considerando las siguientes probabilidades de transicin:

taa = 0.6; Permanecer suelto.
tab = 0.4; Ser preso y llevado para la delegacin.
tba = 0.2; Fugar de la delegacin.
tbb = 0.2; Continuar en la delegacin.
tbc = 0.6; Ser llevado a prisin.
tcc = 0.8; Continuar en la prisin.
tca = 0.2; Fugar de la prisin.
a) Haga un diagrama de la situacin.
b) Calcule la probabilidad de que un asaltante, inicialmente suelto, siga suelto
(practicando asaltos) despus de dos periodos.
Cadenas de Markov 19

APLICACIN 4.- Se usa una mquina para producir herramientas de precisin. Si la

mquina est hoy en buenas condiciones, entonces estar bien maana con 90% de
probabilidad. Si la mquina est en mal estado hoy, entonces estar en mal estado
maana con 80% de probabilidad. SI la mquina est en buen estado, produce 100
herramientas por da, y si est en mal estado, 60 herramientas por da. En promedio,
cuntas herramientas por da se producen?.

APLICACIN 5.- La Zephyr Electronics Co. Fabrica tocacintas porttiles. Antes de

mandar a ventas un casete o portacintas, se analiza el lote. Las categoras de
inspeccin son: no funciona (NF), regular, bueno y excelente. Los portacintas NF se
desechan, mientras que los lotes excelentes se envan inmediatamente a ventas.
Los lotes regulares y buenos se regresan para ajustes y se vuelven a probar. Las
proporciones de lotes regulares y buenos que cambian de categora se dan en la
tabla siguiente:

a) Descrbase este proceso de prueba como una cadena de Markov absorbente

y calclese la matriz de transicin.
b) Cuntas veces, en promedio, se volver a inspeccionar un lote que ya se
haba probado y haba resultado regular en la prueba anterior?
c) Cuntas veces, en promedio, se inspeccionar de nuevo un lote que ya se
haba probado y dio por resultado ser bueno?
d) Cul es la probabilidad de que se deseche un lote regular?
e) Cul es la probabilidad de que un lote regular llegue a ventas?
f) De 30 000 lotes probados como buenos originalmente. Cuntos llegarn a
ventas?

APLICACIN 6.- Freezco, Inc., vende refrigeradores. La fabrica otorga una garanta
en todos los refrigeradores que especifica cambio gratis de cualquier unidad que se
descomponga antes de tres aos. Se nos da la siguiente informacin: (1) el 3% de
todos los refrigeradores nuevos falla durante su primer ao de funcionamiento; (2) el
5% de todos los refrigeradores con 1 ao de funcionamiento falla durante el segundo
ao de trabajo, y (3) el 7% de todos los refrigeradores con dos aos de
funcionamiento falla durante su tercer ao. La garanta no vale para el refrigerador
de repuesto.
a) Use la teora de cadenas de Markov para predecir la fraccin de todos los
refrigeradores que deber cambiar Freezco.
b) Suponga que a Freezco le cuesta 500 dlares cambiar un refrigerador y que
vende 10000 refrigeradores al ao. Si la fabrica redujera el plazo de garanta
a dos aos, cunto dinero se ahorrara en costos de reemplazo?.
Cadenas de Markov 20

APLICACIN 7.- El Programa Profesional de Ingeniera Industrial, despus de

haber recogido datos durante varios aos, puede predecir las proporciones de los
estudiantes que pasarn de una categora a otra en un ao dado. Estos datos se
dan en la tabla siguiente.

Se observa el estado de cada estudiante al principio de cada ao. Por ejemplo, si un

estudiante es del 3er ao al principio de este ao, habr 65% de probabilidades de
que al principio del ao siguiente sea del 4to ao, 15% de probabilidad de que an
sea del tercer ao y 20% de que se retire. Suponemos que una vez de que se retire
un estudiante ya nunca vuelve a inscribirse.
a) Si un estudiante entra al Programa a primer ao, Cuntos aos se espera
que pasen siendo estudiante?.
b) Cul es la probabilidad de que egrese un estudiante de nuevo ingreso?.
c) Si hay 250 estudiantes de primer ao, 150 estudiantes de segundo ao, 120
de tercer ao, 80 de cuarto ao y 50 de quinto ao. Cuntos de stos
estudiantes culminarn la carrera?.

APLICACIN 8.- El equipo de ftbol del FBC Melgar consta de 2 estrellas, 9

novatos y 11 sustitutos. Para fines de impuestos, los accionistas deben evaluar a
los jugadores. Se define el valor de cada jugador como el valor total del sueldo que
gana hasta su retiro. Al inicio de cada temporada, se clasifican los jugadores en
cuatro categoras:
Categora 1: Estrella (Gana 1 milln de dlares al ao).
Categora 2: Novato (Gana 400 mil dlares al ao).
Categora 3: Reserva (Gana 100 mil dlares al ao).
Categora 4: Retirado (No gana salario).
Si un jugador es estrella, novato o reserva el principio de sta temporada, las
probabilidades de que pase a ser estrella, novato, reserva o retirado al principio de
la siguiente temporada son como sigue:
Cadenas de Markov 21

Determine el valor de los jugadores del equipo.

APLICACIN 9.- En un proceso productivo las piezas una vez procesadas son
inspeccionadas para determinar si son rechazadas, reprocesadas o aceptadas para
su posterior venta. Estadsticamente el 80% de las piezas son aceptadas y el 5%
son rechazadas.
a) Si el costo de proceso es de $15 por pieza y el de reproceso $5. Cul seria
el costo de un item que termine en ventas?.
b) En un lote de 10000 piezas cuntas sern rechazadas?

APLICACIN 10.- Una fbrica de jabn se especializa en jabn de tocador de lujo.

Las ventas de este jabn fluctan entre dos niveles bajo y alto- y dependen de dos
factores: 1) si hacen o no publicidad y 2) si los competidores anuncian y
comercializan nuevos productos. El segundo factor est fuera de control de la
compaa, pero quieren determinar cul debe ser su propia poltica publicitaria. Por
ejemplo, el gerente de comercializacin propone hacer publicidad cuando las ventas
estn bajas y no hacerla cuando estn altas. La publicidad que se hace en un
trimestre dado del ao tiene su impacto el siguiente trimestre. De cualquier manera,
al principio de cada trimestre se dispone de la informacin necesaria para
pronosticar con exactitud si las ventas sern altas o bajas ese trimestre y decidir si
hacer publicidad o no.
El costo de publicidad es de $1 milln de dlares cada trimestre del ao que se
haga. Cuando se hace publicidad en un trimestre, la probabilidad de tener ventas
altas el siguiente trimestre es o segn si en el trimestre actual se tiene ventas
bajas o altas. Estas probabilidades bajan a y cuando no se hace publicidad en
el trimestre actual. Las ganancias trimestrales de la compaa (sin incluir los costos
de publicidad) son de $4 millones cuando las ventas son altas pero slo $2 millones
cuando son bajas. (De aqu en adelante utilice cifras en millones de dlares).
a) Construya la matriz de transicin (de un paso) para cada una de las
siguientes estrategias de publicidad: i) nunca hacer publicidad, ii) siempre
hacer publicidad, iii) seguir la propuesta del gerente de comercializacin.
b) Determine las probabilidades de estado estable para los tres casos del inciso
a).
c) Encuentre la ganancia promedio a la larga (incluyendo una deduccin por los
costos de publicidad) por trimestre para cada una de las estrategias del inciso
a). Cul de estas estrategias es la mejor segn esta medida de
desempeo?.

APLICACIN 11.- El estado de las cuentas por cobrar en una empresa se modela
con frecuencia como una cadena absorbente de Markov. Suponga que una empresa
supone que una cuenta es incobrable si han pasado ms de tres meses de su fecha
de vencimiento. Entonces, al principio de cada mes, se puede clasificar cada cuenta
en uno de los siguientes estados especficos:
Estado 1 Cuenta nueva.
Estado 2 Los pagos de la cuenta estn retrasados un mes.
Cadenas de Markov 22

Estado 3 Los pagos de la cuenta estn retrasados dos meses.

Estado 4 Los pagos de la cuenta estn retrasados tres meses.
Estado 5 Se ha saldado una cuenta.
Estado 6 Se ha cancelado la cuenta por ser mal pagador.
Supongamos que los ltimos datos indican que la siguiente cadena de Markov
describe cmo cambia el estado de una cuenta de un mes al siguiente:

Por ejemplo si al principio de un mes una cuenta lleva dos meses de vencida, hay
40% de probabilidades de que no se pague al principio del mes siguiente y, por lo
tanto, que tenga tres meses de retraso y una probabilidad de 60% de que se pague.
Suponga ademn que despus de tres meses, la cuenta o se cobra o se considera
incobrable.
Una vez que una deuda se paga o se considera incobrable, se cierra y no se tiene
ms transiciones.
a) Cul es la probabilidad que una cuenta nueva sea cobrada alguna vez?.
b) Cul es la probabilidad que una cuenta atrasada un mes se vuelva
finalmente incobrable?
c) Si las ventas de la empresa son 100 000 dlares en promedio mensual,
cunto dinero ser incobrable cada ao?.

APLICACIN 12.- En la siguiente matriz de probabilidad de transicin se resume la

informacin del progreso de los estudiantes universitarios en una universidad en
particular.
1.00 0.00 0.00 0.00 0.00 0.00
0.00 1.00 0.00 0.00 0.00 0.00

0.00 0.20 0.15 0.65 0.00 0.00
T
0.00 0.15 0.00 0.10 0.75 0.00
0.00 0.10 0.00 0.00 0.05 0.85

0.90 0.05 0.00 0.00 0.00 0.05

Donde los estados son:

Estado 1: Graduado, Estado 2: Abandona, Estado 3: De primer ao, Estado 4: De
segundo ao, Estado 5: De tercer ao y Estado 6: De cuarto ao
a) Qu estados son absorbentes?.
b) Cul es la probabilidad de que un estudiante de segundo ao se grade,
Cadenas de Markov 23

cul la probabilidad de que abandone?.

c) En un discurso de bienvenida a 600 alumnos de nuevo ingreso, el rector les
pide que se den cuenta de que aproximadamente 50% de los presentes no
llegar al da de graduacin. Un anlisis de los procesos de Markov apoya la
declaracin del rector?. Explique.
d) Cuntos aos se espera que pase en la universidad un estudiante de nuevo
ingreso antes de que se grade?
e) Hoy, la universidad tiene 600 estudiantes nuevos; 520 de segundo ao; 460
de tercero y 420 de cuarto. Qu porcentaje se graduar de los 2000
estudiantes de la universidad?.
f) Dentro de 5 aos, cul ser la distribucin de los 2000 estudiantes?

APLICACIN 13.- El 1 de enero (de este ao), las panaderas Klosman controlaban
el 40% de su mercado local, mientras que las otras dos panaderas, A y B, tenan 40
y 20 por ciento, respectivamente, del mercado. Basndose en un estudio de una
empresa de investigacin de mercado, se compilaron los siguientes datos: la
panadera Klosman retiene el 90% de sus clientes, y gana el 5% de los clientes de A
y el 10% de los de B. La panadera A retiene el 85% de sus clientes y gana 5% de
los clientes de Klosman y 7% de los de B. La panadera B retiene 83% de sus
clientes y gana 5% de los clientes de Klosman y 10% de los de A.
a) Cul ser la participacin de cada empresa en 1 de enero del ao
siguiente.
b) Klosman decide hacer una campaa publicitaria a efectos de ganar clientes,
dicha campaa altera las probabilidades de transicin de estados de la
siguiente manera: la panadera Klosman retiene el 90% de sus clientes, y
gana el 15% de los clientes de A y el 20% de los de B. La panadera A retiene
el 75% de sus clientes y gana 5% de los clientes de Klosman y 7% de los de
B. La panadera B retiene 73% de sus clientes y gana 5% de los clientes de
Klosman y 10% de los de A. Si a Klosman le cuesta 350 dlares por mes una
campaa publicitaria y por cada cliente ganado obtiene un ingreso igual a 10
dlares mensuales, por cuntos periodos debe mantener su campaa
publicitaria, sabiendo que se compite en un mercado de 1000 clientes?.