Cadenas de

Markov
INVESTIGACION OPERATIVA

DOCENTE : ING. ECO. JESUS A. OLIVERA CACERES

AÑO : CUARTO

TURNO : NOCTURNO

ALUMNAS :
 Ururi Cauna, Anlly 2014-105055
 Parra Escobar, Karla 2012-
 Cruz Mamani, Jacquelin 2015-105020
 Ticona Quispe, Madeleyne 2014-105014
 Anahua Paucar, Yeny 2014-105055

TACNA – PERÚ
2017

TRABAJO GRUPAL
UNJBG
 Cadenas de Markov UNJBG

Contenido

INTRODUCCION ............................................................................................. 2

ANTECEDENTES ............................................................................................ 3

CADENAS DE MARKOV ................................................................................. 4

1.1 Descripción de una cadena de Markov: ............................................ 6

1.2 Probabilidades de transición ............................................................. 7

1.3 MATRICES DE TRANSICION ........................................................... 8

1.4 APLICACIÓN A LA ADMINISTRACION: CAMBIO DE MARCA ........... 10

1.4.1 Procesos de Markov ...................................................................... 11

1.5 CONDICIONES DE EQULIBRIO.......................................................... 17

1.6 USO DEL ANALISIS DE MARKOV POR LA ADMINISTRACION ....... 18

CONCLUSIONES .......................................................................................... 21

REFERENCIAS ............................................................................................. 22

1
 Cadenas de Markov UNJBG

INTRODUCCION

Las cadenas de Markov están destinado a una clase de modelos de

probabilidad que son útiles en una amplia variedad de ciencias. Las cadenas de
Markov han encontrado aplicaciones en la biología, la física, la demografía, la
economía y, lo que es más importante para nuestros propósitos, la administración.

La ciencia administrativa ha desarrollado métodos de análisis y

herramientas cuantitativas para la toma de decisiones objetivas. Un factor
importante que se debe considerar al seleccionar una herramienta de toma de
decisiones es su grado de confiabilidad, ya que así la incertidumbre y el riesgo
resultan menores.

Una relación de algunos elementos de apoyo cuantitativo en la toma de

decisiones gerenciales es el análisis de Markov

Las cadenas de Markov se pueden utilizar en modelos simples de valuación

de opciones para determinar cuándo existe oportunidad de arbitraje, así como en
el modelo de colapsos de una bolsa de valores o para determinar la volatilidad de
precios.

2
 Cadenas de Markov UNJBG

ANTECEDENTES

Andrei Andreevich Markov nace en Ryazan (Rusia) el 14 de junio de 1856 y muere en

San Petersburgo en 1914, es el creador de las cadenas de Markov, uno de los conceptos
más importantes en la construcción de modelos en gran cantidad de campos que abarcan
desde la sociología a la física teórica.

Markov estudia en San Petersburgo y muestra un carácter fuerte que le causará

problemas posteriormente con el régimen zarista y con sus colegas de la Universidad de San
Petersburgo. Era mal estudiante en todo menos en matemáticas. Inició sus estudios
universitarios de matemáticas en 1874 y acabó en 1878, siendo premiado con la medalla de
oro al terminarlos. Realizó en la Universidad de San Petersburgo su carrera académica. Su
tesis doctoral estuvo en el ámbito de la teoría de los números, pero con la retirada de
Chebyshev, en 1883, Markov pasó a encargarse del curso sobre la teoría de la probabilidad
continuando con el mismo incluso después de su retirada de la Universidad en 1905.

Perteneció a la escuela matemática de San Petersburgo fundada por Chebyshev, y

junto a Liapunov llegó a ser una de las figuras más eminentes de la misma en el campo de la
probabilidad. Bernstein (1927), otro de los representantes de la escuela de San Petersburgo,
decía de él:

Sin duda el más importante continuador de las ideas sobre probabilidad fue Markov,
sus trabajos son modelos de rigor y claridad en la exposición, y han contribuido en gran
medida a transformar la teoría de la probabilidad en uno de los más perfectos campos de la
matemática y a aumentar la popularidad de los métodos y las ideas de Chebyshev

3
 Cadenas de Markov UNJBG

CADENAS DE MARKOV

Un tipo especial de procesos estocásticos de tiempo discreto se llama cadena de

Markov. Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que
ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo
tienen memoria “recuerdan” el ultimo evento y esto condiciona las posibilidades de los
eventos futuros esta dependencia del evento anterior distingue a las cadenas de Markov de
las series de eventos independientes, como tirar una moneda al aire o un dado.

En los negocios, las cadenas de Markov se han utilizado para analizar los patrones
de compra de los deudores morosos, para planear las necesidades de personal y para
analizar el reemplazo de equipo.
“Los procesos de Markov o Cadena de Markov son procesos estocásticos
que son útiles al estudiar la evolución de ciertos sistemas en ensayos repetidos.
Los ensayos son frecuentemente periodos sucesivos en los que no se puede
determinar certidumbre del estado o resultado del sistema en cualquier lapso o
intervalo de tiempo determinado. Se utilizan probabilidades de transición para
describir la forma en el que el sistema hace transacciones de un periodo al
siguiente. Por ello se habla de la probabilidad de que el sistema se encuentre en
un estado específico en un periodo dado, que se encontraba en un estado en el
periodo anterior.” (Cabanillas, E., 2002)

La característica fundamental de una cadena de Markov es esta: La probabilidad de

que el sistema bajo estudio este en una condición particular depende solo de su condición
actual.
Por ejemplo si se usa cadena de Markov como modelo de los siguientes sistemas,
entonces:
 La probabilidad de que haya seis personas esperando para usar un cajero dentro de
30 minutos depende solo de cuantos hay esperando ahora.
 La probabilidad de que cierto porcentaje de la próxima generación de ratones de
laboratorio tenga una enfermedad hereditaria depende solo del porcentaje de ratones
que tienen la enfermedad en la generación actual.

4
 Cadenas de Markov UNJBG

Ejemplo:
 La probabilidad de que el día de mañana este nublado, esto depende solo de las
condiciones actuales del clima.
Después de un estudio sobre el clima, hemos visto que si un día está soleado, en el
70% de los casos el día siguiente continua soleado y en el 30% se pone nublado. En términos
de probabilidad, lo que nos sirve entonces para predecir el clima, vemos que la probabilidad
de que continúe soleado el día siguiente es 7 y la probabilidad de que al día siguiente esté
nublado es 3. También nos fijamos en que si un día está nublado, la probabilidad de que esté
soleado el día siguiente es .6 y la probabilidad de que se ponga nublado es 4.
Pregunta
Hoy está nublado, ¿cuál es la probabilidad de que mañana continúe nublado? ¿Cuál
es la probabilidad de que está nublado pasado mañana?
Podemos ilustrar esta situación por medio de un diagrama de árbol:

Con la ayuda de la Figura 1 podemos predecir qué ocurrirá mañana si sabemos que
hoy está nublado.
Vemos que la probabilidad de que mañana continúe nublado es .4, es decir, si
hiciéramos esta predicción muchas veces estaríamos en lo correcto cerca del 40% de las
veces. Para conocer la probabilidad de esté nublado pasado mañana buscamos en las hojas
del árbol correspondientes al Tiempo pasado mañana los lugares donde dice nublado. Hay
dos hojas donde esto ocurre. Ahora lo que queda es determinar cómo desde el principio,
desde la raíz del árbol, podemos llegar allí.
Si hoy está nublado, para que pasado mañana esté nublado, podríamos tener un día
de mañana soleado o nublado. Así tenemos las siguientes secuencias en orden de (hoy,
mañana, pasado mañana):
(Nublado, soleado, nublado) o (nublado, nublado, nublado)

5
 Cadenas de Markov UNJBG

Dónde: pasado mañana es nublado.

Estas secuencias son mutuamente excluyentes, corresponden a caminos distintos en
el árbol, así tenemos que:
P (pasado mañana nublado | hoy nublado)
= P ((nublado, soleado, nublado) o (nublado, nublado, nublado))
= P (nublado, soleado, nublado) + P (nublado, nublado, nublado)
= (.6 ´ .3) + (.4 ´ .4)
= 34.
Este resultado se obtuvo multiplicando las probabilidades condicionales a lo largo de
los caminos desde hoy nublado hasta pasado mañana nublado. No es necesario que seamos
tan específicos en términos de hoy, mañana o pasado mañana, podemos darnos cuenta que
lo realmente importante es el número de días que pasa entre una predicción y otra.

1.1 Descripción de una cadena de Markov:

En la figura 2 se muestra el proceso para generar una cadena de Markov. El generador

de Markov produce uno de n eventos posibles, Ej, donde j = 1, 2,…,n, a intervalos discretos
de tiempo (que no tienen que ser iguales) las probabilidades de ocurrencia para cada uno de
estos eventos dependen del estado del generador. Este estado se describe por el último
evento

Movimien
FIGURA 2 Estado to
Generador de
esto generador:
Markov Sj
Evento
generado
E E E E E
7 1 4
6 j
T T T T Tie
T
5
mpo
1 2 3 4

6
 Cadenas de Markov UNJBG

En la figura 1, el último evento generado fue Ej, de manera que el generado se

encuentra en el estado Sj. La Probabilidad de que Ek sea el siguiente evento generado es una
probabilidad condicional; P (Ek/Sj). Esto se llama probabilidad de transición del estado Sj al
estado Ek. Para describir completamente una cadena de Markov es necesario saber el estado
actual y todas las probabilidades de transición.

1.2 Probabilidades de transición

Una forma para describir una cadena de Markov es un diagrama de estados, como el
que se muestra en la Figura 2. En esta se ilustra un sistema de Markov con cuatro estados
posibles: S1, S2, S3, S4. La probabilidad condicional o de transición de moverse de un estado
a otro se indica en el diagrama. Para simplificar la notación se utilizan subíndices para el
estado actual y el siguiente es decir P14 = P(S4/S1). Las flechas muestran las trayectorias
de transición que son posibles. En la figura se nota que no aparecen algunas trayectorias
como la de S2 a S3. Su ausencia significa que esas trayectorias tienen probabilidad de
ocurrencia igual que cero.

P
FIGURA 2
Un diagrama de
S 31
P3 S
1 P 1
3
Estados
13
P P P P
12 21 43 34
P

S 24 S
1 1

P4
P
4
Existen muchas situaciones en las cuales es posible
42 aplicar matrices, para esto
consideremos situaciones en la que se separa a la población en dos o más categorías o
estados.
Por ejemplo, podemos separar los ciudadanos de un país de acuerdo a:
 Sus ingresos, en las categorías: pobre, ingresos medio o rico.
 Las migraciones del campo a la ciudad; o del norte al sur.

7
 Cadenas de Markov UNJBG

 La movilidad intergeneracional de padres a hijos, en relación al nivel educativo.

 La preferencia por una determinada marca de bebidas.
En general al hablar de población nos estaremos refiriendo a gente, pero esto no es
esencial. Podemos clasificar los automóviles de acuerdo a si funcionan o no, el riesgo de
poner o cambiar nuestros ahorros de la AFP en un determinado tipo de fondo A, B, C, D; o
bien, estudiar los patrones de cambio de uso de suelo en una ciudad de rápido crecimiento.
Estamos interesados en cómo la distribución de una población entre estados puede
cambiar durante un período de tiempo. Las matrices y su multiplicación pueden desempeñar
un papel importante en dichas consideraciones, para esto se utilizan las matrices de
transición.

1.3 MATRICES DE TRANSICION

La forma más cómoda de expresar la ley de probabilidad condicional de una cadena

de Markov es mediante la llamada matriz de probabilidades de transición P, o más
sencillamente, matriz de la cadena.
La tendencia de una población a moverse entre n estados se puede describir a veces
mediante una matriz de n x n.
Dicha matriz es cuadrada con tantas filas y columnas como estados tiene el sistema,
y los elementos de la matriz representan la probabilidad de que el estado próximo sea el
correspondiente a la columna si el estado actual es el correspondiente a la fila.
Como el sistema debe evolucionar de t a alguno de los n estados posibles, las
probabilidades de transición cumplirán con la propiedad siguiente:
Consideremos una población distribuida entre n = 3 estados, que llamaremos
estado 1, estado 2 y estado 3. Se supone que conocemos la proporción tij de la
población del estado i, que se mueve al estado j en determinado período de tiempo
fijo.
La matriz T = (tij) se llama matriz de transición.

8
 Cadenas de Markov UNJBG

Supongamos que la población de un país, está clasificada de acuerdo con los

ingresos en
 Estado 1: pobre
 Estado 2: ingresos medios
 Estado 3: rico
Supongamos que en cada período de 20 años tenemos los siguientes datos para la
población y su descendencia:
De la gente pobre, el 19% pasó a ingresos medios, y el 1% a rica;
De la gente con ingresos medios, el 15% pasó a pobre, y el 10% a rica;
De la gente rica, el 5% paso a pobre, y el 30%, a ingresos medios.
Podemos armar una matriz de transición de la siguiente manera:

Obsérvese que:

1) Las entradas de la diagonal de la matriz representa la proporción de la población

que no cambia de estado en un período de 20 años;

2) Un registro de la matriz da la proporción de la población del estado izquierdo del

registro que pasa al estado derecho del registro en un período de 20 años.

3) La suma de los registros de cada fila de la matriz T es 1, pues la suma refleja el

movimiento de toda la población para el estado relacionado en la parte izquierda de la fila.

9
 Cadenas de Markov UNJBG

Otra forma de presentación de un proceso y su correspondiente matriz de transición

Donde la i representa el estado inicial de

una transición, j representa el estado final de una
transición, Pij representa la probabilidad de que el
sistema estando en un estado i pase a un estado j.

1.4 APLICACIÓN A LA
ADMINISTRACION: CAMBIO DE MARCA

Las compras de los consumidores están influidas por la publicidad, el precio y

muchos otros factores. Con frecuencia un factor clase es la última compra del consumidor.
Si, por ejemplo, alguien compra un refrigerador marca “Y” y le da un buen servicio,
quedara predispuesto a comprar otro refrigerador marca “Y”. De hecho, una investigación
de mercado puede determinar el grado de lealtad a la marca encuestando a los
consumidores. En términos de una cadena de Markov, los resultados de la investigación
son las probabilidades de transición de seguir con la marca o de cambiar.
En la siguiente figura se muestra un ejemplo de cadenas de Markov para el cambio
de marca. En este ejemplo, la marca A es la marca de interés y la marca B representa
todas las demás marcas. Los clientes son bastante leales, el 80 % de ellos son clientes
que repiten. La oposición conserva el 70% de sus clientes.
Las ecuaciones de estado estable para el ejemplo de la figura son:
P (A) = 0.8P (A) + 0.3P (B)
P (B) = 0.2P (A) + 0.7P (B)

10
 Cadenas de Markov UNJBG

P(A) + P (B) = 1
La solución de este sistema es:
P(A) = 0.6
P (B)= 0.4

ANALISIS DE MARKOV DE PRIMER ORDEN

El proceso de Markov tiene varios órdenes, y el primero depende de los resultados
del último acontecimiento (selecciones de marcas por los clientes en ese período), y no de
cualquier comportamiento previo de compras para la probabilidad del acontecimiento
siguiente (selecciones de los clientes para el próximo período).
Un análisis de Markov de segundo orden supone que las selecciones de marcas
específicas para el próximo período dependerán de las selecciones de marcas hechas por
los clientes durante los dos períodos anteriores.
De modo semejante un proceso de Markov de tercer orden, estudia la preferencia de
los clientes durante los tres últimos períodos, a fin de pronosticar su comportamiento durante
el período siguiente hacia determinadas marcas.
Muchos estudios de procesos de mercados han demostrado que es válido
utilizar las suposiciones de primer orden para fines de pronóstico.
Los datos indican que las preferencias de los clientes de determinadas marcas, siguen
un patrón bastante estable. En realidad la matriz de probabilidades de transición permanece
estable o casi estable durante cierto período.(Thierauff,1991)

1.4.1 Procesos de Markov

Principio de Markov:
Cuando una probabilidad condicional depende únicamente del suceso
inmediatamente anterior, cumple con el Principio de Markov de Primer Orden, es decir.

P( X (t  1)  j X (0)  K 0 , X (1)  K1 ,....., X (t )  i)  P( X (t  1)  j X (t )  i)  pij

a) Definiciones en los Procesos de Markov de Primer Orden:

 Estados: Las condiciones en las cuales se encuentra un ente ó sucesos
posibles.
11
 Cadenas de Markov UNJBG

 Ensayos: Las ocurrencias repetidas de un evento que se estudia.

 Probabilidad de Transición: La probabilidad de pasar de un estado actual al
siguiente en un período ó tiempo, y se denota por pij ( la probabilidad de pasar
del estado i al estado j en una transición ó período)

(1) Características de los Procesos de Markov de Primer Orden:

Se pueden usar como modelo de un proceso físico ó económico que tenga las
siguientes propiedades:

a) Que la probabilidad cumpla con el principio de Markov.

b) Existencia de un número finito de estados.
c) Las pij son constante con respecto al tiempo ó período.
d) Ensayos en períodos iguales.

Si un suceso depende de otro además del inmediatamente anterior, este es un

proceso de Markov de mayor orden. Por ejemplo, Un proceso de segundo orden describe un
proceso en el cual el suceso depende de los dos sucesos anteriores.
Los procesos de Markov también se les llaman Cadenas de Markov.

Notaciones que utilizaremos:

pij = probabilidad de transición en un período.
P = [pij]nxn matriz de transición formada por los valores de pij , donde cada fila
representa el estado inicial donde se parte y las columna el estado al que se ira en un período.
pij( k )  P( X (k )  j X (0)  i) Representa la probabilidad de ir del estado i al estado j
en k períodos.
P(k)=[ pij(k ) ]nxn la matriz de transición de k períodos.

Si(t) = probabilidad de encontrarse en el estado i en el período t.

S(t) =(S1(t) , S2(t) , . . . . , Sn(t)) vector de probabilidad de estado en el período t. Para
n estados.
Los sucesos que cumplan con un proceso de Markov, se pueden representar por
medio de un esquema donde los nodos indiquen los estados y arcos dirigidos de nodo a nodo
con un número que representa la probabilidad de transición de ir de un estado a otro, ó por
medio de una matriz de transición.

12
 Cadenas de Markov UNJBG

Ejemplo:

0.2 0.3 0.5

P  0.3 0.4 0.3
0.2 0.4 0.4

Para calcular:
( 2)
p11  P( X (2)  1 X (0)  1) = p11.p11+ p12.p21+ p13.p31
= 0,2.0,2+0,3.0,3+0,5.0,2 = 0,23

( 2)
p12  P( X (2)  2 X (0)  1) = p11.p12+ p12.p22+ p13.p32
= 0,2.0,3+0,3.0,4+0,5.0,4 = 0,38

( 2)
p13  P( X (2)  3 X (0)  1) = p11.p13+ p12.p23+ p13.p33
= 0,2.0,5+0,3.0,3+0,5.0,4 = 0,39

( 2) ( 2)
( 2)
Luego p11 + p12 + p13 =1

Otra forma es usando el vector de probabilidades y la matriz de transición, es decir:

S(0) = (1, 0, 0) S(1) = S(0).P = (0,2; 0,3; 0,5)

S(2) =S(1).P =(0,23; 0,38; 0,39)

b) Cadenas de Markov Ergódicas ó cadenas irreductibles.

Describen matemáticamente un proceso en el cual es posible avanzar desde un
estado hasta cualquier otro estado. No es necesario que esto sea posible en un paso.

Una cadena ergódica es regular: Si para alguna potencia de la matriz de transición

tiene únicamente elementos positivos de probabilidad (diferente de cero)

13
 Cadenas de Markov UNJBG

Ejemplo 1:

0.5 0.5 0  0.40 0.25 0.35

P  0.3 0 0.7 P  0.15 0.43 0.42
2

 0 0.4 0.6 0.12 0.24 0.64

Luego es regular (y por lo tanto ergódica)

Ejemplo 2:
0.4 0 0.6 0 
 0 0.3 0 0.7
P 
0.6 0 0.4 0 
 
 0 0.5 0 0.5
0.52 0 0.48 0 
 0 0.44 0 0.56
P 
2 
0.48 0 0.52 0 
 
 0 0.40 0 0.60

p 0 1 p 0 
0 q 0 1  q 
P4  
r 0 1 r 0 
 
0 h 0 1  h

Esta matriz repite continuamente este patrón para todas las potencias de P; por
consiguiente no es regular ni tampoco ergódica.

(1) Propiedades de las Cadenas de Markov.

1.- Las probabilidades de estados deben ser igual a uno, es decir.
S1(t)+S2(t)+ . . . . ,+Sn(t) = 1 para n estados.
2.- Para cada fila de la matriz P se cumple: pi1+pi2+...... +pin = 1 para todo
i = 1, 2, ..., n
3.- Las transiciones de un período al siguiente se obtienen de la siguiente ecuación:
S(t) = S(t-1).P por lo tanto S(t) = S(0).Pt

14
 Cadenas de Markov UNJBG

4.- Si S(t+1) = S(t) para t  K, Entonces se dice que el sistema se estabiliza ó que
los estados son estacionarios ó estables. Esto implica que S = S.P , es decir. El vector de
estado estacionario sigue siendo igual después de la transición t.

Ejemplo para calcular el vector de equilibrio o de estado estacionario.

Sea :
3 / 5 2 / 5 17 / 25 8 / 25 83 / 125 42 / 125
P  P2    P3   
4 / 5 1 / 5  16 / 25 9 / 25 84 / 125 41 / 125
417 / 625 208 / 625  2083 / 3125 1042 / 3125 2 / 3 1 / 3
P4    P5    P6   
416 / 625 209 / 625 2084 / 3125 1041 / 3125 2 / 3 1 / 3
2 / 3 1 / 3
P7    El proceso se estabiliza en el período 6
2 / 3 1 / 3

Otra forma:
 S  S .P
Se calcula el siguiente sistema  en este caso
 S i  1

 S  0,6S1  0,8S 2
 0,4S1  0,8S 2  0
S 2  0,4 S1  0,2 S 2 y queda 
S  S 1  S1  S 2  1
 1 2

Cuya solución es: S1 = 2/3 y S2 = 1/3

Observación: Las ecuaciones que se obtienen del desarrollo de S =S.P Siempre hay
una ecuación que es combinación lineal de las demás ecuaciones, por lo tanto se omite para
que el sistema quede con n ecuaciones y n variables.

c) Estados Absorbentes:
Es aquel estado que tiene una probabilidad de ser abandonado igual a cero, es decir.
Una vez en él es imposible dejarlo. Esto quiere decir:
Si i es un estado absorbente si se cumple que pij =0 si i  j y pii =1.

15
 Cadenas de Markov UNJBG

Una cadena de Markov es Absorbente:

Si se cumple:

a) Tiene por lo menos un estado Absorbente.

b) Es posible ir de cada estado no absorbente hasta por lo menos un estado absorbente.
No es necesario efectuar esta transición en un paso; ni es necesario tener la
posibilidad de alcanzar cada estado absorbente a partir de cualquier estado no
absorbente.

(1) Análisis de las cadenas de Markov Absorbentes.

A partir del análisis de estas cadenas, es posible determinar los siguientes datos:

1) El número esperado de pasos antes de que el proceso sea absorbido.

2) El número esperado de veces que el proceso está en cualquier estado dado no
absorbente.
3) La probabilidad de absorción por cualquier estado absorbente dado.

El primer paso del análisis es construir una submatriz H de P formada de estados no

absorbentes a estados no absorbentes. Luego H da las probabilidades de ir desde cualquier
estado no absorbente hasta otro estado no absorbente en un paso exactamente, H2 da las
probabilidades de ir desde cualquier estado no absorbente hasta otro estado no absorbente
en dos pasos exactamente. H3 da información similar para tres pasos, etc. Por lo tanto, Hn da
esta misma información para n pasos.
Para hallar el número esperado de pasos antes que el proceso sea absorbido,
consiste en calcular el número esperado de veces que el proceso puede estar en cada estado
no absorbente y sumarlos. Esto totalizaría el número de pasos antes de que el proceso fuera
absorbido y por consiguiente el número esperado de pasos hacia la absorción. Luego:
I+H+H2+H3+ ….. = (I-H)-1 =Q Por consiguiente Q representa el número esperado de
períodos que el sistema estará en cada estado no absorbente antes de la absorción, por lo
tanto la suma de cada fila de Q representa el promedio de períodos que transcurren antes de
ir a un estado absorbente.
Para hallar la probabilidad de absorción por cualquier estado absorbente dado, se
emplea una lógica similar en el análisis. Se construye una submatriz G de P formada de

16
 Cadenas de Markov UNJBG

estados no absorbente a estados absorbentes y representa la probabilidad de ir de un estado

no absorbente a un estado absorbente en un paso exactamente, H.G representa la
probabilidad de ir de un estado no absorbente a un estado absorbente en dos pasos
exactamente y así sucesivamente. Por lo tanto G+H.G+H2.G+..... =( I+H+H2+H3+ …..).G =(I-
H)-1.G = Q.G =R, Y esta matriz representa la proporción ó probabilidad en que un estado no
absorbente pasa a un estado absorbente.
Número de pasos para alcanzar por primera vez un estado determinado en cadenas
no absorbentes (Tiempo de la primera transición)
Si definimos a fij como el promedio de períodos que transcurre antes de cambiar de
1
un estado i al estado j por primera vez. Se tiene que f ij  1  p
k j
ik . f kj y además f ii 
Si
Otro método: Consiste en transformar en estado absorbente el estado al cual
queremos ir por primera vez, por ejemplo si j es el estado que queremos llegar por primera
vez, para ello la matriz P se modifica de manera que el estado j aparezca como estado
absorbente y obtener la matriz Q de esta transformación y por lo tanto f iA  q iA donde A

representa el estado absorbente.

Valor Económico Esperado en un Proceso ó cadena de Markov.

En un proceso de Markov estar en cada estado genera un costo ó beneficio, por lo

tanto el valor económico esperado se define:
ci
E (C )     ci .S i , es decir, el valor económico por la probabilidad del sistema
f ii
estabilizado.

1.5 CONDICIONES DE EQULIBRIO

Solo puede haber una condición de equilibrio si ninguno de los competidores altera la
matriz de probabilidades de transición .Es razonable suponer que podría llegarse en el futuro
a un estado de equilibrio, con respecto a las participaciones de mercado. El intercambio de
clientes en términos de retención, ganancias o pérdidas, seria estático en el momento en
que se lograra el equilibrio .En términos de mercadotecnia ¿cuáles son las participaciones
de mercado final o de equilibrio?
Pueden emplearse varias matrices de probabilidades de transición para demostrar
las condiciones de equilibrio.

17
 Cadenas de Markov UNJBG

El ejemplo más común es aquél en que ninguna empresa obtiene toda la clientela
o sea que en un total de tres empresas, ni una ni dos de ellas se apoderan de todo el
mercado. Hay cierta condición final de equilibrio que se desarrolla y continua basándose
en una matriz estable de probabilidades de transición.
En casi todos los problemas de Markov, ordinariamente las pérdidas y ganancias son
de gran magnitud en los primeros periodos (Thierauff, 1991).

1.6 USO DEL ANALISIS DE MARKOV POR LA

ADMINISTRACION
En gran parte, el material precedente ha tratado la metodología del análisis de markov,
que básicamente es un instrumento de mercadotecnia de la administración, para determinar
la estrategia de mercadotecnia más apropiada para la empresa. Esto puede demostrarse con
el ejemplo siguiente, en el que inicialmente cada empresa cuenta con la tercera parte del
mercado.

A
BA .C5 .3 .1 Retención y ganancia
B .2 .6 .2
C
  Retención y pérdida
.3 .1 .7

Suponiendo que la matriz de probabilidades de transición no cambie , las

participaciones de equilibrio o a la larga de mercado de A,B y C, serán de 27.8, 33.3 y 38.9
por ciento , respectivamente .Sabiendo que espera perder una parte de su mercado en el
futuro, el vendedor A puede hacer algo con respecto a la situación actual, para impedir
que esto ocurra .A dispone de dos estrategias posibles: puede tratar de retener un mayor
número de sus propios clientes (estrategia 1), o puede encaminar sus esfuerzos de
mercadotecnia(publicidad y ventas personales)hacia los compradores que se cambian a los
vendedores B y C (estrategia 2).

18
 Cadenas de Markov UNJBG

Refiriéndonos a la estrategia 1, el vendedor A podría tratar de retener un mayor

número de clientes, digamos de .5 a .7. Ese cambio supone que A disminuye sus pérdidas
de clientes a favor de B y C. La nueva matriz de probabilidades de transición es:

A
A .7 .3 .1
B
B .C1 .6 .2 
C  
.2 .1 .7

Las nuevas participaciones de equilibrio de mercado son: A, 38.6, B , 27.0 y C, 34.4

por ciento. Actualmente, esos esfuerzos específicos de ventas han dado por resultado una
posición más favorable a la larga para el vendedor A.
La segunda estrategia (del vendedor A, que encamina sus esfuerzos de ventas a los
compradores que cambian a B y a C), se muestra en la matriz revisada de probabilidades de
transición:

A
A
B .5C .35 .2
B .2 .6 .1
C
 
.3 .0.5 .7

Los cálculos de las participaciones de eq uilibrio de mercado son: A, 32.6, B, 19.0,

y C, 84.4 por ciento.

El análisis Markov no se limita en modo alguno a determinar las participaciones de

mercado a corto plazo y a largo plazo .Muchas compañías están usando las cadenas de
markov como ayuda para el análisis de las necesidades de mano de obra de su grupo de
vendedores. Cada año, hay empresas que esperan perder una porción de su grupo de
vendedores debido a renuncias, retiros o muertes. Los vendedores actuales tienen
diferentes niveles de experiencia, instrucción y capacidad. Una empresa tiene que contratar
nuevos elementos para remplazar los que se van , y otros más para satisfacer sus
crecientes requerimientos .La alta gerencia se enfrenta al problema de calcular las futuras

19
 Cadenas de Markov UNJBG

necesidades de mano de obra , de acuerdo con la edad y la clase de servicio , en vista de

las características del movimiento de personal y del crecimiento planeado de las ventas .
El primer paso consiste en calcular los porcentajes de retención de los vendedores
en las diversas clases de servicio y de edad .Esos porcentajes calculados se utilizan en el
análisis de Markov para proyectar las futuras características de la fuerza de vendedores , si
no se contratan nuevos elementos .Se analizan los patrones alternativos de reclutamiento
con respecto a su efecto en la composición de la futura fuerza de ventas y probable nivel
de ventas .Para cierta meta de ventas, puede recomendarse a la administración superior la
cantidad mínima y el tipo de vendedores que haya reclutar cada año. El análisis de Markov
también puede aplicarse a las demás funciones principales de la empresa, desde el punto
de vista de las necesidades de personal.
Otras áreas donde se han aplicado las cadena de Markov, son las estimaciones de
las tolerancias para cuentas dudosas en el campo de contabilidad, y la introducción de un
nuevo producto. Con relación a lo segundo ,una empresa quiere saber, por ejemplo , como
se venderá su nuevo producto , un limpiador para cuartos de baño , cuando se ponga en
los estantes de un supermercado , al lado de otros limpiadores para baño. Algunos pueden
ser líquidos en botella, otros pueden ser en polvos en lastas de fibra , cremas en recipientes
de plástico, o en forma de aerosoles. Generalmente esa situación requiere la construcción
de modelos matemáticos sobre la forma en que pueda cambiar o cambiarse la lealtad de
los clientes a determinado producto. En realidad, los matemáticos de la empresa tendrán
que expresar la lealtad de los clientes de Markov que muestren el comportamiento de
intercambio de los clientes.(Thierauf, R, 1974)

20
 Cadenas de Markov UNJBG

CONCLUSIONES

Las cadenas de Markov son una herramienta para analizar el comportamiento

y el gobierno de determinados tipos de procesos estocásticos, esto es, procesos
que evolucionan de forma no determinística a lo largo del tiempo en torno a un
conjunto de estados.

Que para su elaboración requieren del conocimiento de diversos elementos

como son el estado y la matriz de transición.

Dichos elementos fueron descubiertos por su creador Markov, el cual realizó

una secuencia de experimentos conectados en cadena y la necesidad de descubrir
matemáticamente los fenómenos físicos

Este método es muy importante, ya que ha comenzado a usarse en los

últimos años como instrumento de investigaciones de mercadotecnia, para examinar
y pronosticar el comportamiento de los clientes desde el punto de vista de su lealtad
a una marca y de sus formas de cambio a otras marcas, la aplicación de esta
técnica, ya no solo se limita a la mercadotecnia sino que su campo de acción se ha
podido aplicar en diversos campos.

21
 Cadenas de Markov UNJBG

REFERENCIAS

ÁLGEBRA LINEAL. Grossman, Edit. Iberoamérica.

APLICATION OF PETRI NETS IN MANUFACTURING SYSTEMS, Desrochers and

Al-jaar, Edit. IEEE PRESS.

APUNTES DE CLASE, Ing. Carlos Alberto Ossa. UTP.

Charles A. Gallagher, “Métodos cuantitativos para la toma de decisiones en la

administración”, Editorial Mc Graw Hill Mexico D.F., 1982

FINITE MARKOV CHAINS, Kemeny and Snell, Edit. D.Van Nostrand Company Inc.

Gómez, A. (2006) Boletín de la Sociedad de Estadística e Investigación Operativa.

Recuperado de http://estadisticamigable.blogspot.com/2010/08/andrei-marcov-1856-1922-

en-el-157.html

INTRODUCCIÓN A LA INVESTIGACIÓN DE OPERACIONES, Hiller and Lieberman,

Edit.Mc Graw Hill.

Morales, L. (2011, 2 de Junio). Cadenas de Markov. Recuperado de

http://ingindustrialio2.-:blogspot.mx/2011/06/cadenas-de-markov

Pérez, J. (2011, 3 de Junio). Andrei Markov. Recuperado de

http://investigacindeoperaciones.html

Robert J. Thierauf; Richard A. Grosse, “Toma de Decisiones por medio de la

Investigación de Operaciones”, Editorial LIMUSA S.A. de C.V, Mexico D.F., 1991.

22