Ao de la consolidacin del Mar de Grau

UNIVERSIDAD NACIONAL DEL SANTA

ESCUELA ACADMICO PROFESIONAL DE INGENIERA DE SISTEMAS E
INFORMTICA

CURSO:
INVESTIGACIN DE OPERACIONES II
TEMA:
Cadenas de Markov, probabilidades de transicin y diagrama de estados
INTEGRANTES:
AGUILAR VILLEGAS VICTOR
AGUIRRE CORTEZ ISAAC
RAMOS RAMIREZ ANDERSSON
CASTILLO ALEJOS LUIS
JARA LZARO ADERSON
REYES VENANCIO JHONN
SAAVEDRA ZEGARRA MELVIN

NUEVO CHIMBOTE
2016
 CADENAS DE MARKOV
DEFINICIN DE CADENAS
Bsicamente, una cadena es un proceso en tiempo discreto (tambin se puede suponer su
continuidad, pero esta tarea sobrepasa el mbito en el que se enmarca esta publicacin) en el que
una variable aleatoria va cambiando de estado con el paso del tiempo. O, en otras palabras, una
cadena representa un sistema que vara su estado a lo largo del tiempo. Un estado es una
caracterizacin de la situacin en la que se halla un determinado sistema en un instante dado, y
puede ser tanto cuantitativo como cualitativo. En trminos coloquiales, un estado es la respuesta a la
pregunta Cmo estn las cosas? En trminos ms formales, el estado de un sistema en un
determinado instante es una variable aleatoria cuyos valores slo pueden pertenecer al conjunto de
posibles estados del sistema, que son mutuamente excluyentes. El sistema que pretende modelizar
una cadena es, por consiguiente, una variable aleatoria que cambia de valor (cuantitativo o
cualitativo) en el tiempo. A dicho cambio se le denomina transicin.
DEFINICIN DE CADENA DE MARKOV
Las cadenas de Markov tienen la propiedad de que la probabilidad de que la variable aleatoria en
cuestin se encuentre en un estado j en el instante t slo depende del estado en que se encontraba el
sistema en el instante t-1, y no de los anteriores a este ltimo. En este sentido, las cadenas de
Markov tienen memoria, si bien dicha memoria est restringida al ltimo estado de la variable. A
modo de ejemplo: La probabilidad de que el valor de una accin burstil evolucione al alza, a la
baja o repita en una determinada sesin burstil depende nicamente de si subi, baj o permaneci
constante en la sesin precedente.
Las cadenas de Markov han sido ampliamente utilizadas en numerosos campos de la Ciencia, y en
particular en el de las Ciencias Sociales.
DEFINICIN FORMAL
Una sucesin de observaciones X1, X2,... se denomina proceso estocstico Si los valores de estas
observaciones no se pueden predecir exactamente Pero se pueden especificar las probabilidades
para los distintos valores posibles en cualquier instante de tiempo.

X1 : v.a. que define el estado inicial del proceso Xn : v.a. que define el estado del proceso en el
instante de tiempo n Para cada posible valor del estado inicial s1 y para cada uno de los sucesivos
valores sn de los estados Xn, n = 2, 3,..., especificamos: P(Xn+1 = sn+1 | X1 = s1, X2 = s2, ..., Xn =
sn)

Una cadena de Markov es un proceso estocstico en el que

Si el estado actual Xn y los estados previos X1,...,Xn1 son conocidos La probabilidad del estado
futuro Xn+1

No depende de los estados anteriores X1,...,Xn1, y

Solamente depende del estado actual Xn.

Retomando la terminologa formal, considrese una sucesin de variables aleatorias {Xt}, t = 0,1, 2,
...., n-2, n-1, n,...
Pues bien, dicha sucesin de variables aleatorias constituir una cadena de Markov si se verifica
que:
P (Xn = j/X0 = i0, X1 = i1,...., Xn-1 = ii-1)= P (Xn= j/Xn-1 = ii-1)
En caso de que P (Xn = j/X0 = i0, X1 =i1,...., X n-1= ii-1, Xn-2=ii-2) la cadena se denominara de
segundo orden. Es decir, en el ejemplo utilizado anteriormente, si la probabilidad de evolucin al
alza, a la baja o de mantenimiento, del valor de una accin burstil dependiese nicamente de si
dicha accin subi o baj o repiti valor en las dos sesiones precedentes.
De manera anloga se definiran las cadenas de Markov de tercer, cuarto,.... orden.
Por otra parte, una cadena de Markov se califica de homognea si las probabilidades de paso de un
estado a otro no dependen del instante temporal que se considere.
P(Xn = j/ Xn-1 = ii-1) Pij n

DESCRIPCIN DE UNA CADENA DE MARKOV

En la figura 11-1 se muestra el proceso para generar una cadena de Mar-kov. El generador de
Markov produce uno de n eventos posibles, Ej, donde j = 1, 2, . . . , n, a intervalos discretos de
tiempo (que no tienen que ser iguales). Las probabilidades de ocurrencia para cada uno de estos
eventos dependen del estado del generador.

FIGURA 11-1

Generador de Markov.

Este estado se describe por el ltimo evento generado. En la figura 11-1, el ltimo evento generado
fue Ej de manera que el generador se encuentra en el estado Sj.

La probabilidad de que Ek sea el siguiente evento generado es una pro-babilidad condicional:

P(Ek/Sj). Esto se llama probabilidad de transicin del estado Sj al estado Ek .. Para describir
completamente una cadena de Markov es necesario saber el estado actual y todas las probabilidades
de transicin.

En esta seccin se presentan dos formas fciles de exponer las probabilidades de transicin.
Probabilidades de transicin
Una forma para describir una cadena de Markov es con un diagrama de estados, como el que se
muestra en la figura 11-2. En sta se ilustra un sistema de Markov con cuatro estados posibles: S1;
S2, S3 y S4. La probabilidad condicional o de transicin de moverse de un estado a otro se indica en
el diagrama. Para simplificar la notacin se usan subndices para el estado actual y el siguiente. Es
decir, p14 = P(S4/S1). Las flechas muestran las trayectorias de transicin que son posibles. Ntese
que no aparecen algunas trayectorias como la de S2 a S3. Su ausencia significa que esas trayectorias
tienen probabilidad de ocurrencia igual que cero.

FIGURA 11-2

Un diagrama de estados.

Otro mtodo para exhibir las probabilidades de transicin es usar una matriz de transicin. La
matriz de transicin para el ejemplo del diagrama de estados se muestra en la tabal 11-1. Ntese
que, como existen cuatro estados posibles, se necesitan 4 x 4 = 16 probabilidades. Tambin ntese
que cada rengln de la matriz suma 1. Esto se debe a que el sistema debe hacer una transicin.

Las probabilidades de transicin son datos para el anlisis. Se deben conocer, no existe manera
de derivarlas. En algunas aplicaciones esto puede ser una limitacin.
2. PROBABILIDADES DE TRANSICION
Es la probabilidad condicionada
P (Xn+1 = sj | Xn = si )
PROBABILIDAD DE TRANSICIN ESTACIONARIA
Una cadena de Markov tiene probabilidades de transicin estacionarias si para cualquier par de
estados si y sj existe una probabilidad de transicin pij tal que
P (Xn+1 = sj | Xn = si) = pij para n = 1, 2, . . .
Las probabilidades de transicin se utilizan para describir la manera en que el sistema cambia de un
perodo al siguiente. Se representan por medio de matrices de transicin.
MATRIZ DE TRANSICIN
Al trabajar con cadenas de Markov, a menudo es til pensar la sucesin de ensayosb como
experimentos efectuados en cierto sistema fsico, cada resultado dejando a este sistema en cierto
estado.
Por ejemplo, consideremos una sucesin de elecciones polticas en cierto pas: el sistema podra
tomarse como el pas mismo y cada eleccin lo dejara en cierto estado, es decir en el control del
partido ganador. Si slo hay dos partidos polticos fuertes, llamados A y B, los que por lo regular
controlan el gobierno, entonces podemos decir que el pas se encuentra en el estado A o B si el
partido A o B ganara la eleccin. Cada ensayo (o sea cada eleccin), coloca al pas en uno de los
dos estados A o B. Una sucesin de 10 elecciones podra producir resultados tales como los
siguientes:

A, B, A, A, B, B, B, A, B, B
La primera eleccin en la sucesin deja en el poder al partido A, la segunda fue ganada por el
partido B, y as sucesivamente, hasta que la dcima eleccin la gane el partido B.
Supongamos que las probabilidades de que el partido A o B ganen la prxima eleccin son
determinadas por completo por el partido que est en el poder ahora. Por ejemplo podramos tener
las probabilidades siguientes:
Si el partido A est en el poder, existe una probabilidad de que el partido A ganar la prxima
eleccin y una probabilidad de de que el partido B gane la eleccin siguiente.
Si el partido B est en el poder, hay una probabilidad de 1/3 de que el partido A gane la eleccin
siguiente y una probabilidad de 2/3 que el partido B permanezca en el poder.
En tal caso, la sucesin de elecciones forma una cadena de Markov, dado que las probabilidades de
los dos resultados de cada eleccin estn determinadas por el resultado de la eleccin precedente.
Lo descrito anteriormente puede representarse grficamente usando la siguiente red:

1/4 3/4 B 2/3

A
1/3

Los crculos A y B se denominan nodos y representan los estados del proceso, las flechas que van
de un nodo a si mismo o al otro son los arcos y representan la probabilidad de cambiar de un estado
al otro.
La informacin probabilstica que se acaba de dar se puede representar de manera conveniente por
la siguiente matriz:

Resultado de la prxima eleccin

A B

Resultado de la A 1/4 3/4

ultima eleccin B 1/3 2/3

Esta matriz se denomina matriz de transicin. Los elementos de la matriz de transicin representan
las probabilidades de que en el prximo ensayo el estado del sistema del partido indicado a la
izquierda de la matriz cambie al estado del partido indicado arriba de la matriz.
MATRIZ ESTOCSTICA
Es una matriz cuadrada cuyos elementos son no negativos y tal que la suma de los elementos de
cada fila es igual a 1.
MATRIZ DE TRANSICIN EN UN SOLO PASO

Dada una cadena de Markov con k estados posibles s1, . . . , sk y probabilidades de transicin
estacionarias.

Si pij = P (Xn+1 = Sj |Xn = Si ) =

La matriz de transicin P de cualquier cadena de Markov finita con probabilidades de transicin

estacionarias es una matriz estocstica
MATRIZ DE TRANSICIN EN VARIOS PASOS
Dada una cadena de Markov con k posibles estados S1, . . . , Sk y matriz de transicin P
Si notamos 2 = P (Xn+2 = Sj |Xn = Si)

2 ij: Elemento de la isima fila y jsima columna de la matriz

: Potencia msima de P, con (m = 2, 3, . . .) y
ij: Elemento de la fila i y de la columna j de la matriz
GENERALIZANDO
 es la matriz de probabilidades de que la cadena pase del estado Si
al estado Sj en m pasos; para cualquier valor de m, (m = 2, 3, . . .).
es la matriz de transicin de m pasos de la cadena de Markov

CALCULO DE LAS PROBABILIDADES DE TRANSICIN

Ahora que se sabe cmo presentar los datos, qu puede hacerse? Un anlisis til es pronosticar el
estado del sistema despus de 1, 2, 3 o ms periodos. Esto se llama anlisis de transicin, debido a
que es a corto plazo y est enfocado a periodos cortos.
Considrese la cadena de Markov que se describe en la figura 11-3. Esta podra representar una
copiadora de oficina, poco segura. Si est fun-cionando un da, existe un 75% de posibilidades de
que al da siguiente funcione y un 25% de posibilidades de que no funcione. Pero si no est
funcionando, hay 75% de posibilidades de que tampoco funcione al da siguiente y slo un 25% de
que si lo haga (se lleva mucho tiempo la repa-racin).

Para comenzar un anlisis de transicin, se deben conocer el estado actual. Supngase que se
est comenzando y que hay 75% de posibilidades de estar en el estado 1 y 25 % de estar en el
estado 2. Esto define el estado actual en forma probabilista. Cul es la probabilidad de estar en el
estado 1 al da siguiente? Si se comienza en el estado 1 hay 75 % de posibilidades de seguir ah. Si
se comienza en el estado 2, slo hay 25 % de cambiar el estado 1. As:

Un ejemplo de dos
estados.

P(S1)= P(cominceseS1)p11P(cominceseS2)p21
= (0.75)(0.75) + (0.25)(0.25)
= 0.625

Como slo hay dos estados, entonces P(S2) = 0.375.

 Despus de dos das:

P(S1) = 0.625p11 + 0.375p21

= 0.625(0.75) + 0.375(0.25) =
0.567

Este mtodo para hacer clculos puede representarse por un diagrama de rbol, como se muestra en
la figura 11-4. Como puede observarse, la co-piadora no es muy segura. Los resultados de los
primeros cuatro das son:

En los sistemas con ms estados, los clculos se vuelven ms largos, pero el procedimiento es el
mismo. Considrese el sistema de tres estados que se, muestra en la figura 11-5. Supngase que el
sistema se encuentra en el es-tado S1. En el diagrama puede observarse que para el siguiente ciclo:
Para el segundo ciclo:

P(S1) = 0.4p11 + 0.3p21 + 0.3p31

= 0.4(0.4) + 0.3(0.1) + 0.3(0.1)
= 0.22 335
P(S2) = 0.4p12 + 0.3p22 + 0.3p32
= 0.4(0.3) + 0.3(0.8) + 0.3(0.3)
= 0.45
P(S3) = 0.4p13 + 0.3p23 + 0.3p33
= 0.4(0.3) + 0.3(0.1) + 0.3(0.6)
= 0.33
Por supuesto, como el sistema se debe encontrar en algn estado, slo es necesario calcular dos de
estas probabilidades y la tercera puede encontrarse con la siguiente relacin:

P(S1) + P(S2) + P(S3) = 1

Los resultados para los primeros cuatro ciclos son:

Segundo ejemplo:
Las granjas de cierta regin se pueden clasificar con 3 tipos: agrcolas, pecuarias o mixtas.
Actualmente 30% son agrcolas, 40% pecuarias y 30% son mixtas. La matriz de transicin de un
ao al siguiente es:

De acuerdo a la informacin dada, el Po es:

Para hallar el valor de las probabilidades en el ao siguiente hacemos uso de la multiplicacin de las
matrices, como sigue
Para el estado A:

Por lo que el vector para el ao siguiente es:

De igual manera calculamos el porcentaje para cada tipo de granja para el periodo 2, 3, 4 y 5
Obsrvese que el valor de la probabilidad de un estado n est dado por la siguiente expresin:
= 0

Con este anlisis puede encontrarse la probabilidad de que el sistema se encuentre en un estado
determinado en cualquier periodo futuro.

CLCULO DE LAS PROBABILIDADES DE ESTADO ESTABLE

Las cadenas de Markov poseen una propiedad notable en cuanto a que tienden a aproximarse a lo
que se llama estado estable. Considrense los dos ejemplos anteriores de anlisis de transicin. En
el sistema de dos estados, P(S1) result ser 0.75 al principio y despus 0.625, 0.567, 0.531 y 0.516.
Estas probabilidades se mueven hacia un lmite. En forma anloga, en el sistema de tres estados
puede observarse que P(S2 ), por ejemplo, adquiere los valores 0.3, 0.45, 0.53, 0.565 y 0.58.
Despus de unos cuantos ciclos nada ms, las probabilidades de estado comienzan a asentarse o
estabilizarse. Cuando una cadena de Markov ha llegado lo suficientemente lejos como para estar
cerca de estos lmites, se dice que ha alcanzado un estado estable. Adems, estos lmites son los
mismos, independientemente del punto de partida del sistema.
Es importante hacer notar que la existencia de una condicin de estado estable es una propiedad
adicional de las cadenas de Markov. De ninguna manera afecta las probabilidades de transicin o la
dependencia de cada estado en el estado anterior. Los lmites de estado estable se refieren slo al
porcentaje de tiempo a largo plazo que el sistema se encontrar en cada estado particular.
En la mayora de las aplicaciones el estado estable tiene una gran im-portancia, esto puede
apreciarse ms adelante. En esta seccin se describen dos mtodos para determinar estos lmites y
se presenta una aplicacin a comercializacin.

Mtodo de la suma de flujos

Este mtodo est basado en el concepto de que todo lo que entra debe salir. El diagrama de estados
se usa para presentar los flujos. En la figura 11-6 se muestra de nuevo el ejemplo anterior de dos
estados. Para cada estado puede escribirse una ecuacin tal que para el estado k se cumpla:

Esta ecuacin se ve peor de lo que en realidad es. Observando el estado S, en la figura 11-6,
pngase atencin slo en las flechas entre los estados. Para los flujos que llegan, se tiene

El ejemplo de dos estadas.

Para los flujos que salen, se suman las probabilidades de transicin a todos los otros estados. En
este caso slo hay una, 0.25. As, la ecuacin para S1 es

0.25P(S2) = 0.25P(S1)

De igual manera, el flujo hacia adentro para el estado S2 es 0.25P(S1) y el flujo hacia afuera es
0.25P(S2). Esto da para S2

0.25P(S1) = 0.25P(S2)

El hecho de que estas dos ecuaciones sean iguales es una coincidencia. Pero no son independientes;
as, se necesita una relacin ms:

P(S1) = P(S2) = 1

Esto proporciona tres ecuaciones con dos incgnitas que pueden resolverse por eliminacin. El
resultado es

P(S1) = P(S2) = 0.5

 El procedimiento no cambia en los sistemas con ms estados. Consid-rese el ejemplo de tres
estados que se dio antes y que se muestra en la figu-ra 11-7. Para el estado S1 se tiene

0.1P(S2) + 0.1P(S3) = (0.3 + 0.3)P(S1)

Para el estado S2

0.3P(S1) + 0.3P(S3) = (0.1 + 0.1)P(S2)

El ejemplo de tres estados.

y para el estado S3

0.3P(S1) + 0.1P(S2) = (0.1 + 0.3)P(S3)

Al poner esto todo junto se tienen cuatro ecuaciones:

Cuando se resuelve un conjunto de ecuaciones como ste, la ltima ecuacin no puede

eliminarse. Si se usan slo las primeras tres, al final se tendr una identidad ya que no son
independientes. Una manera de resolverlas es por eliminacin. Se despeja P(S1) en la primera
ecuacin y despus se sustituye el resultado en las ltimas dos:
Sumando trminos semejantes, resultan dos ecuaciones con dos incgnitas:

Despus puede eliminarse P(S3) multiplicando la primera ecuacin por 1.17/0.35 y sumando las
dos ecuaciones:

Con este resultado se encuentra P(S3):

1.17(0.6) + 1.17P(S3) = 1

P(S3) = 0.26

Por ltimo, se sustituyen los valores en la ecuacin de P(S1):

P(S1) = 1/6(0.6) + 1/6(0.26) = 0.14

Segn los resultados obtenidos en el anlisis de transicin, puede observarse que el sistema estaba
cerca de estos lmites despus de slo cinco ciclos.