INSTITUTO TECNOLGICO DE LOS MOCHIS

DEPARTAMENTO DE INGENIERIA INDUSTRIAL

CADENAS DE MARKOV
INVESTIGACIN DE OPERACIONES II
M.C. SHIRLEY MARBELLA ROJAS MINJAREZ

Grupo 552
Gmez Mokay Nely Melina

INDICE
INTRODUCCIN...............................................................................................................2
QU ES UNA CADENA DE MARKOV?..........................................................................3
PROCESOS ESTOCSTICOS.....................................................................................3
CADENAS DE MARKOV...............................................................................................3
EJEMPLO...................................................................................................................4
CADENAS DE MARKOV FINITAS CON PROBABILIDADES DE TRANSICIN
ESTACIONARIAS..........................................................................................................5
MATRIZ DE TRANSICIN.........................................................................................5
EJEMPLO: MATRIZ DE TRANSICIN EN UN SOLO PASO....................................6
EJEMPLO: MATRIZ DE TRANSICIN EN VARIOS PASOS....................................7
OBJETIVO DE LAS CADENAS DE MARKOV..................................................................7
APLICACIONES................................................................................................................8
TIPOS DE CADENAS DE MARKOV...............................................................................10
CADENAS IRREDUCIBLES........................................................................................10
CADENAS POSITIVO-RECURRENTES.....................................................................10
CADENAS REGULARES............................................................................................10
CADENAS ABSORBENTES........................................................................................11
CADENAS DE MRKOV EN TIEMPO CONTINUO....................................................11
CONCLUSIONES............................................................................................................13
REFERENCIAS...............................................................................................................14

INTRODUCCIN

Con el presente proyecto, se espera abarcar todo

el tema de Cadenas de Markov, para la materia
en

curso.

Desde

que

es,

sus

orgenes,

clasificacin o tipos, como sus aplicaciones y

respectivos ejemplos.
Esto con la finalidad de poder utilizar esta
tcnica, en un futuro cercano cuando nos
encontremos

ejerciendo

como

ingenieros

industriales como empleados, o empleadores de

una empresa.

QU ES UNA CADENA DE MARKOV?

PROCESOS ESTOCSTICOS
Los procesos estocsticos son una sucesin de observaciones X 1,X2, si los valores
de estas observaciones no se pueden predecir exactamente pero se pueden
especificar las probabilidades para los distintos valores posible en cualquier instante de
tiempo.
X1: Valor asignado que define el estado inicial del proceso
Xn: Valor asignado que define el estado del proceso en el instante de tiempo n
Para cada posible valor del estado inicial s1 y para cada uno de los sucesivos valores
sn de los estados Xn, n = 2,3,, especificamos:
P(Xn+1 = sn+1 | X1 = s1, X2 = s2, , Xn = Sn)
CADENAS DE MARKOV
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que
ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de
este tipo tienen memoria, "Recuerdan" el ltimo evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a
las cadenas de Markov de las series de eventos independientes, como tirar una
moneda al aire o un dado.
Una cadena de Markov es un proceso estocstico en el que si el estado actual X n y los
estados previos X1, , Xn-1 son conocidos la probabilidad del estado futuro X n+1 no
depende de los estados anteriores X 1, , Xn-1, y solamente depende del estado actual
Xn.
Es decir, para n = 1, 2,... y para cualquier sucesin de estados s 1,...,sn+1
P(Xn+1 = sn+1 | X1 = s1, X2 = s2, ..., Xn = sn ) = P(Xn+1 = sn+1 | Xn = sn)

EJEMPLO
Consideremos que en un locutorio telefnico con 5 lneas de telfono en un instante de
tiempo dado puede haber un nmero cualquiera de lneas ocupadas. Durante un
periodo de tiempo se observan las lneas telefnicas a intervalos de 2 minutos y se
anota el nmero de lneas ocupadas en cada instante.
Sea X1 la v.a. que representa el nmero de lneas ocupadas al principio del periodo.
Sea X2 la v.a. que representa el nmero de lneas ocupadas cuando se observa en el
segundo instante de tiempo, 2 minutos ms tarde.
En general, n = 1, 2,... Xn es una v.a. que representa el nmero de lneas ocupadas
cuando se observan en el instante de tiempo nsimo.
El estado del proceso en cualquier instante de tiempo es el nmero de lneas que estn
siendo utilizadas en ese instante.
Un proceso estocstico como el que acabamos de describir se llama proceso de
parmetro discreto, ya que las lneas se observan en puntos discretos a lo largo del
tiempo.

Para que el proceso estocstico del nmero de

lneas ocupadas sea una cadena de Markov es
necesario que la probabilidad de cada posible
nmero de lneas ocupadas en cualquier instante
de tiempo dependa solamente del nmero de
lneas ocupadas 2 minutos antes.

CADENAS DE MARKOV FINITAS CON PROBABILIDADES DE TRANSICIN

ESTACIONARIAS
CADENA DE MARKOV FINITA
Es una cadena de Markov para la que existe slo un nmero finito k de estados
posibles s1,...,sk y en cualquier instante de tiempo la cadena est en uno de estos k
estados.
PROBABILIDAD DE TRANSICIN
Es la probabilidad condicionada
P(Xn+1 = sj | Xn = si)
PROBABILIDAD DE TRANSICIN ESTACIONARIA
Una cadena de Markov tiene probabilidades de transicin estacionarias si para
cualquier par de estados si y sj existe una probabilidad de transicin pij tal que P(X n+1 =
sj | Xn = si) = pij para n = 1, 2,...
MATRIZ DE TRANSICIN
MATRIZ ESTOCSTICA
Es una matriz cuadrada cuyos elementos son no negativos y tal que la suma de los
elementos de cada fila es igual a 1.
MATRIZ DE TRANSICIN EN UN SOLO PASO
Dada una cadena de Markov con k estados posibles s1,...,sk y probabilidades de
transicin estacionarias.

La matriz de transicin P de cualquier cadena de Markov finita con probabilidades de

transicin estacionarias es una matriz estocstica.
EJEMPLO: MATRIZ DE TRANSICIN EN UN SOLO PASO
Supongamos que el clima de una determinada regin slo puede ser soleado (s 1) o
nublado (s2) y que las condiciones del clima en maanas sucesivas forman una cadena
de Markov con probabilidades de transicin estacionarias. La matriz de transicin est
dada por:

Si un da concreto est nublado, cul es la probabilidad de que est nublado el da

siguiente?

MATRIZ DE TRANSICIN EN VARIOS PASOS

Dada una cadena de Markov con k posibles estados s 1,...,sk y matriz de transicin P
Si notamos p(2)ij = P(Xn+2 = sj | Xn = si)
Donde
p(2)ij : Elemento de la isima fila y jsima columna de la matriz P 2
Pm : Potencia msima de P, con (m = 2, 3,...) y
p(m)ij : Elemento de la fila i y de la columna j de la matriz P m

Pm es la matriz de probabilidades p (m)ij de que la cadena

pase del estado si al estado sj en m pasos; para
cualquier valor de m, (m = 2, 3,...). P m es la matriz de
transicin de m pasos de la cadena de Markov
8

EJEMPLO: MATRIZ DE TRANSICIN EN VARIOS PASOS

En el ejemplo del clima con matriz de transicin

Si un mircoles est nublado, cul es la probabilidad de que el viernes siguiente haga

sol?
Calculamos la matriz de transicin en dos pasos,

OBJETIVO DE LAS CADENAS DE MARKOV

A muy grandes rasgos, el objetivo principal de las cadenas de Markov es facilitar y

mejorar las tomas de decisin en todos los disntitos mbitos en los que se puede
aplicar, los cuales sern explicados con detalle en el prximo tema.

APLICACIONES
En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de
compra,los deudores morosos, para planear las necesidades de personal y para
analizar el reemplazo de equipo. El anlisis de Markov, llamado as en honor de un
matemtico ruso que desarrollo el mtodo en 1907, permite encontrar la probabilidad
de que un sistema se encuentre en un estado en particular en un momento dado. Algo
ms importante an, es que permite encontrar el promedio a la larga o las
probabilidades de estado estable para cada estado. Con esta informacin se puede
predecir el comportamiento del sistema a travs del tiempo. La tarea ms difcil es
reconocer cundo puede aplicarse. La caracteristica ms importante que hay que
buscar en la memoria de un evento a otro.
Una aplicacin interesante de procesos de Markov es la industria costera noruega del
petroleo/gas. En Noruega un cuerpo estatal, el Consejo de administracin de Petrleo
noruego, (junto con la compaa de aceite estatal noruega (STATOIL)), tienen un papel
grande en la planeacin de los medios para el desarrollo costero del petroleo/gas.
El problema esencial que el Consejo de la administracin del Petrleo noruego tiene,
es cmo planear la produccin para aumentar al mximo su contribucin en el tiempo a
la economa noruega. Aqu los horizontes de tiempo son muy largos, tpicamente 30 a
50 aos. De importancia crtica es el precio del aceite - todava nosotros no podemos
prever esto, sensiblemente con exactitud, para esta horizonte de planeacin.
Para superar este problema ellos modelan el precio del aceite como un proceso de
Markov con tres niveles de precio (estados), correspondiendo a escenarios optimista,
probable y pesimista. Ellos tambin especifican las probabilidades de hacer una
transicin entre los estados cada periodo de tiempo (ao). Pueden usarse matrices de
transicin diferentes para horixzontes de tiempo diferentes ( matrices diferentes para el
cercano, medio y futuro lejano).

10

Aunque ste simplemente es un enfoque simple, tiene la ventaja de capturar la

incertidumbre sobre el futuro en un modelo que es relativamente fcil de entender y
aplicar.
Estudios sobre el modelado de la poblacin (donde nosotros tenemos objetos con
"edad") tambin son una aplicacin interesante de procesos de Markov.
Un ejemplo de esto sera el modelado el mercado del automvil como un proceso de
Markov para prever la "necesidad" de nuevos automviles cuando los automviles
viejos puedan extnguirse.
Otro ejemplo sera modelar el progreso clnico de un paciente en hospital como un
proceso de Markov y ver cmo su progreso es afectado por rgimenes de droga
diferentes.

11

TIPOS DE CADENAS DE MARKOV

CADENAS IRREDUCIBLES
Una cadena de Mrkov se dice irreducible si se cumple cualquiera de las siguientes
condiciones (equivalentes entre s):
1. Desde cualquier estado de E se puede acceder a cualquier otro.
2. Todos los estados se comunican entre s.
3. C(x)=E para algn xE.
4. C(x)=E para todo xE.
5. El nico conjunto cerrado es el total.
La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son ejemplos
de cadenas de Mrkov irreducibles.
CADENAS POSITIVO-RECURRENTES
Una cadena de Mrkov se dice positivo-recurrente si todos sus estados son positivorecurrentes. Si la cadena es adems irreducible es posible demostrar que existe un
nico vector de probabilidad invariante y est dado por:

CADENAS REGULARES
Una cadena de Mrkov se dice regular (tambin primitiva o ergdica) si existe alguna
potencia positiva de la matriz de transicin cuyas entradas sean todas estrictamente
mayores que cero.
Cuando el espacio de estados E es finito, si P denota la matriz de transicin de la
cadena se tiene que:

12

donde W es una matriz con todos sus renglones iguales a un mismo vector de
probabilidad w, que resulta ser el vector de probabilidad invariante de la cadena. En el
caso de cadenas regulares, ste vector invariante es nico.
CADENAS ABSORBENTES
Una cadena de Mrkov con espacio de estados finito se dice absorbente si se cumplen
las dos condiciones siguientes:
1. La cadena tiene al menos un estado absorbente.
2. De cualquier estado no absorbente se accede a algn estado absorbente.
Si denotamos como A al conjunto de todos los estados absorbentes y a su
complemento como D, tenemos los siguientes resultados:

Su matriz de transicin siempre se puede llevar a una de la forma

donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz

identidad, 0 es la matriz nula y R alguna submatriz.
, esto es, no importa en donde se encuentre la cadena,

eventualmente terminar en un estado absorbente.

CADENAS DE MRKOV EN TIEMPO CONTINUO
Si en lugar de considerar una secuencia discreta X1, X2,..., Xi,.. con i indexado en el
conjunto

de nmeros naturales, se consideran las variables aleatorias Xt con t que

vara en un intervalo continuo del conjunto

de nmeros reales, tendremos una

cadena en tiempo continuo. Para este tipo de cadenas en tiempo continuo la propiedad
de Mrkovse expresa de la siguiente manera:
13

tal que
Para una cadena de Mrkov continua con un nmero finito de estados puede definirse
una matriz estocstica dada por:

La cadena se denomina homognea si

. Para una cadena de

Mrkov en tiempo continuo homognea y con un nmero finito de estados puede

definirse el llamado generador infinitesimal como: 2

Y puede demostrarse que la matriz estocstica viene dada por:

14

CONCLUSIONES

Las cadenas de proporcionan un sistema muy til para crear e implementar un proceso
de toma de decisiones que sopese posibles escenarios y se utilice para predecir con
mayor exactitud comportamientos futuros. Las MLNs tienen muchas aplicaciones en el
mundo real, destacando su uso en negocios, poltica, finanzas, deportes, salud,
gentica, fsica, economa y un largo etctera.

15

REFERENCIAS

Ingeniera UNAM. (Fecha de publicacin desconocida). Juan Antonio del Valle F.

Introduccin

las

Cadenas

Procesos

de

Markov.

Encontrado

en

http://www.ingenieria.unam.mx/javica1/ingsistemas2/Simulacion/Cadenas_de_M
arkov.htm

BigDataHispano. (2014). Maribel Tirados. Utilizar las cadenas de Markov para

tomar

decisiones.

Encontrado

en

http://www.bigdatahispano.org/noticias/cadenas-de-markov-para-tomar-mejoresdecisiones/

Wikipedia. (2015). Autor desconocido. Cadena de Mrkov. Encontrado en

https://es.wikipedia.org/wiki/Cadena_de_M%C3%A1rkov

16