PROCESO ESTOCASTICOS

CAPITULO IV

CAPITULO IV
CADENAS DE MARKOV
Una cadena de Markov es una serie de eventos estadsticamente determinados, en la cual la
probabilidad de que ocurra un evento depende del evento inmediato anterior. Estas se dice que
tienen memoria. Es decir, recuerdan el ltimo evento y al mismo tiempo condiciona las
posibilidades de los eventos futuros subsecuentes. sta dependencia del evento anterior distingue
a las cadenas de Markov de las series de eventos independientes.

En 1907, A. A. Markov comenz el estudio de un importante nuevo tipo de cambio de proceso. En

este proceso, el resultado de un experimento dado puede afectar el resultado del prximo
experimento o evento. A este tipo de proceso es llamado Cadena de Markov.

Un sistema de Markov (o proceso de Markov o cadena de Markov) es un sistema que puede ser
en uno de algunos estados (enumerados), y que puede pasar de un estado a otro durante cada
instante de acuerdo a probabilidades determinadas. Si un sistema de Markov est en estado i,
Hay una determinada probabilidad, pij, de ir a estado j el prximo paso, y pij es llamado la
probabilidad de transicin.
Un sistema de Markov puede ser ilustrado por significados de un diagrama de transicin de
estados, que muestra todos los estados y las probabilidades de transicin. La matriz P cuya ijo
entrada pij se llama la matriz de transicin asociada con el sistema. Las entradas en cada rengln
suman en total 1. Por lo tanto, para este caso, una a 2 matriz de transicin P podra ser
representado en la siguiente figura.

PROCESO ESTOCASTICOS

CAPITULO IV

Ejemplo
Diagrama de transicin: (Falta de flechas indican la probabilidad cero.)

Matriz de transicin:

Uno de los mtodos usuales para exhibir las probabilidades de transicin de un evento o Estado es
usar una Matriz de Transicin. La cual debe cumplir con las siguientes condiciones:

1. La Matriz de Transicin debe sr Cuadrara, es decir debe tener el mismo nmero de columnas
como de filas.
2. En ella deben estar contenidos tanto en las filas como en las columnas los mismos Estados o
Eventos transitorios.
3. La Suma de los elementos de cada fila debe ser siempre igual a 1, cumpliendo con la teora de
Probabilidades.
4. Cada elemento de la matriz P debe ser un nmero entre cero y 1.

PROCESO ESTOCASTICOS

CAPITULO IV

Las aplicaciones de las Cadenas de Markov son muy variadas, ya que describen satisfactoriamente
cualquier tipo de evento estocstico, por lo cual estas son llamadas tambin Estudios de
Comportamiento de un Sistema. Estos durante un perodo dado suele ser llevar al anlisis de un
proceso estocstico con la siguiente estructura. En puntos especficos del tiempo

, el sistema se

encuentra exactamente en una de un nmero finito de estados mutuamente excluyentes y

exhaustivos, etiquetados

Los periodos en el tiempo pueden encontrarse a intervalos iguales o su esparcimiento puede

depender del comportamiento general del sistema en el que se encuentra sumergido el proceso
estocstico. Aunque los estados pueden constituir una caracterizacin tanto cualitativa como
cuantitativa del sistema, no hay prdida de generalidad con las etiquetas numricas
que se usarn en adelante para denotar los estados posibles del sistema. As la representacin
matemtica del sistema fsico es la de un proceso estocstico {Xi}, en donde las variables aleatorias
se observan en
cualquiera de los

y en donde cada variable aleatoria puede tomar el valor de

enteros

. Estos enteros son una caracterizacin de los

estados del proceso.

Ejemplo: (Tierra de Oz).

Acorde a Kennedy, Snell y Thompson, la Tierra de Oz es bendecida por muchas cosas pero no por
un buen clima. Ellos nunca tienes dos buenos das seguidos. Si ellos tienen un buen da,
probablemente tendrn nieve o lluvia al siguiente. Si hay un cambio de lluvia o nieve, solamente la
mitad de las veces es para cambiar a un buen da. Con esta informacin formamos una Cadena de
Markov como la que sigue. Tomando como estados los diferentes tipos de clima R (lluvia), S
(Snow) y N (normal). Con lo anterior se determina la matriz de transicin de probabilidades.

PROCESO ESTOCASTICOS

CAPITULO IV

Distribucin de vectores:
Un vector distribucin es un vector regln no negativa con una entrada para cada estado de la
sistema. Las entradas pueden representar el nmero de individuos en cada estado del sistema.
Una vector probabilidad es un vector en la que las entradas son no negativas y agregar hasta 1.
Las entradas en un vector probabilidad pueden representar las probabilidades de encontrar un
sistema de cada uno de los estados.
Si

es el vector distribucon inicial y

es la matriz de transicon de un sistema de Markov,

entonces la distribucon de vectores a partir del paso 1 es el producto matriz,

. La distribucin

un paso ms adelante, obtenido de nuevo a travs de multiplicacin por P, es dado por

. Del mismo, la distribucin despus del paso
al derecho por

veces, o multiplicando

se puede obtener multiplicando

Teorema 1. Sea P la matriz de transicin de una Cadena de Markov. La ij-simo entrada

matriz

de la

da la probabilidad que la Cadena de Markov, comenzando en un estado inicial est

en otro despus de

pasos.

Considerando de nuevo el ejemplo anterior de la Tierra de Oz, sabemos que el poder de la matriz
de transicin nos brinda informacin de inters acerca del proceso. Estaremos particularmente
interesados en el estado de la cadena despus de un largo nmero de pasos. Para ello es de gran
utilidad utilizar cualquier programa que permita estos clculos iterativos, entre ellos la hoja de
clculo EXCEL.

Tendremos por ejemplo despus de 6 pasos lo siguiente:

PROCESO ESTOCASTICOS

CAPITULO IV

Teorema 2. Sea P la matriz de transicin de una Cadena de Markov y sea u el vector probabilidad
el cual representa la distribucin inicial de cada uno de los estados. Entonces la probabilidad de
que la cadena est en el estado i despus de n pasos es la i-sima en el vector:

Adems de ello, notamos que si queremos examinar el comportamiento de la cadena bajo el

supuesto que comienza en un estado inicial i, simplemente se escoge u siendo este el vector de
probabilidad con la i-sima entrada igual a 1 y todas las otras igual a cero.

PROCESO ESTOCASTICOS

CAPITULO IV

Ejemplo:
Sea

P=

y sea
un paso se expresa por

0.2

0.8

0.4
0.5

0
0.5

0.6
0

una distribucin inicial. A continuacin, la distrubucin despus de

0.2 0.8 0
vP = [ 100 200 300 ]

0.4 0 0.6
0.5 0.5 0

= [ 250 230 120 ]

La distribucin un paso ms adelante se expresa por
vP2 = (vP)P
0.2 0.8 0
= [ 250 230 120 ]

0.4 0
0.6
0.5 0.5 0

= [ 202 260 138 ].

Para obtener la matriz 2-pasos de transicin, calculamos

P =

0.2 0.8 0

0.2 0.8 0

0.4 0
0.6
0.5 0.5 0

0.4 0
0.6
0.5 0.5 0

0.36 0.16 0.48

=

0.38 0.62 0
0.3 0.4 0.3

As, por ejemplo, la probabilidad de pasar del estado 3 al estado 1 en dos pasos viene dada por la
3,1-entrada en P2, es decir, 0.3.

PROCESO ESTOCASTICOS

CAPITULO IV

Ejemplo.
Siguiendo con el ejemplo de la Tierra de Oz, hacer el vector probabilidad inicial u igual
(1/3,1/3,1/3). Entonces podremos calcular la distribucin de los estados despus de tres das
usando el teorema 2 y nuestro clculo previo de P^3, con lo cual obtenemos:

Visualicemos otro claro ejemplo de las aplicaciones de las cadenas de Markov: Teniendo en
cuenta el vector de Estados iniciales que describen el comportamiento de los abonados a las
marcas de telefona celular Movistar, Tigo y Comcel, y la matriz de transicin dada, determine el
estado estable para este sistema, modelando el problema como una cadena de Markov.

Donde:
M: Movistar
T: Tigo
C: Comcel
P0: Perodo inicial

Se establecen los estados en los diferentes cambios de perodo, para ello se utilizar la hoja de
clculo de Excel que facilitar el desarrollo del ejercicio por iteraciones.

PROCESO ESTOCASTICOS

CAPITULO IV

Sabemos que el cambio de perodo se determina multiplicando el vector de estado con la matriz
de transicin as:

Tendremos entonces que:

Como podemos apreciar en Estado estable no hay cambios significativos en los resultados entre
perodos, por lo cual siempre permanecern en dicho estado.
Comportamiento a largo plazo de los sistemas de Markov
Si P es una matriz de transicin de un sistema de Markov, y si v es un vector de distribucin con la
propiedad que

, entonces nos referimos a v como un vector (distribucin) de estado de

estable.
Para encontrar un vector de estado de equilibrio para un sistema de Markov con matriz de
transicin P, resolvemos el sistema de ecuaciones dados por:
x+y+z+... =1

[x y z . . . ]P = [x y z . . .]

Donde su uso como muchas incgnitas, ya que hay estados en el sistema de Markov. Una costante
vectorial de estado de probabilidades se da entonces por

v = [x y z . . . ]

PROCESO ESTOCASTICOS

CAPITULO IV

Tendremos a partir del vector de perodos como incgnitas y la matriz de transicin dada que:

Multiplicando ambas matrices nos quedar el siguiente sistema:

Sumado a estas se consigna la sumatoria de las 3 incgnitas a partir de la teora de la probabilidad,

esto es:

Tendremos entonces un sistema de ecuaciones 4x3 que puede ser resuelto por cualquier mtodo.
Utilizando Excel tendremos que:

Como podemos apreciar se ha conseguido el estado estable directamente sin iterar. Este es otro
mtodo para hallar dicho estado.

PROCESO ESTOCASTICOS

CAPITULO IV

Sistemas absorbentes de Markov

Un estado absorbente en un sistema de Markov es un estado a partir de la cual existe cero
probabilidades de salir. Un sistema absorbente de Markov es un sistema de Markov que contiene
al menos un estado absorbente, tal que es posible llegar a un estado absorbente despus de algn
nmero de etapas comenzando en cualquier estado no absorbente.
En el anlisis de los sistemas absorbentes, enumeramos los estados en tal manera que los estados
absorbentes son los ltimos. La matriz de transicin

de un sistema absorbente entonces se ve

como sigue:

P=

Aqu I est la matriz unidad m m (m = nmero de estados absorbentes), N es una matriz cuadrada
(n-m) (n-m) (n = nmero total de estados, de modo n-m = el nmero de estados absorbentes), 0
es un matriz cero y R es un matriz (n-m) m.
La matriz N es la matriz de transicin para la circulacin entre los estados de absorcin. La matriz
fundamental para el sistema absorbente es
Q = (I-N)-1.

Entre los conceptos ms importantes tenemos lo que se conoce como estados Recurrentes que
son aquellos que si despus de haber entrado, el proceso definitivamente regresar a este. Por
consiguiente un Estado es Recurrente si y slo si no es transitorio. Adems, ya que un estado
Recurrente ser visitado de nuevo de cada visita, podra ser visitado un nmero infinito de veces si
el proceso contina por siempre. Si el proceso entra a cierto estado y permanece en este estado al
siguiente paso, se considera un regreso a este estado. Entonces, el siguiente tipo de estado se
considera un tipo especial de estado recurrente, el Estado Absorbente.

Un estado se llama Absorbente, si despus de haber estado en l, el proceso nunca saldr de este.
Por consiguiente, el estado i es un estado absorbente si y slo si Pij=1.

PROCESO ESTOCASTICOS

CAPITULO IV

Ejemplo:
Almacenes Juanchis vende partes de automviles y camiones a empresas que cuentan con flotas.
Cuan las empresas compran a Juanchis se le dan 3 meses para pagar si las cuentas no se saldan en
ese perodo, Juanchis cancela la cuenta, la remite a una agencia de cobranzas y da por terminadas
las transacciones. Por lo tanto Juanchis clasifica sus cuentas en nuevas, de un mes de retraso, de
dos meses de retraso, de tres meses de retraso, pagadas e incobrables. Juanchis investig sus
antiguos recursos y descubri que:
a) 70% de las cuentas nuevas se pagan en un mes.
b) 60% de las cuentas de 1 mes de retraso se liquidan al final de mes.
c) 50% de las cuentas con 2 meses de retraso se pagan al final de ese ltimo mes.
d) 60% con 3 meses de retraso se remiten a una agencia de cobranza.
1. Forme la matriz de transicin con estos datos.
2. Cul es la probabilidad de una que una cuenta nueva se liquide?
3. Cul es la probabilidad de que una cuenta con 1 mes de retraso se convierta en incobrable?
4. En cuntos meses debe esperar Juanchis para que un cliente nuevo promedio liquidara su
cuenta?
5. Si las ventas de Juanchis son en promedio US$125000/mes, cunto dinero se aceptara como
deuda incobrable al mes y cada ao?
En primera instancia se plantea a continuacin la matriz:

Se debe ahora considerar las matrices absorbente y no absorbe, as como la identidad

Adems de ello, se debe tener en cuenta, que la matriz (I N)

PROCESO ESTOCASTICOS

CAPITULO IV

A partir de la anterior matriz podemos hallar la matriz fundamental para conseguir las
probabilidades, para esto hallamos la matriz inversa de (I - N)-1 por la matriz absorbente,
obteniendo las probabilidades de ocurrencia de cada estado contenido en la matriz de no
absorbente.

Ahora multiplicamos por la matriz absorbente as:

Con lo cual obtenemos las probabilidades para cada uno de los estados para llegar a cada uno de
los estados absorbentes:

2. La probabilidad de que una cuenta nueva se liquide es 96%.

3. La probabilidad de que una cuenta de 1 mes de retraso se convierta en incobrable es 12%.
4. El tiempo que se espera para que un cliente nuevo promedio liquidara su cuenta est dado por
la suma de las probabilidades de la matriz (N - I) inversa, correspondiente a la primera fila. Esto es:

PROCESO ESTOCASTICOS

CAPITULO IV

Sumando tendremos que este tiempo en meses es 1+ 0.3 + 0.12 + 0.06 = 1.48 meses.

5. El dinero que se aceptar como deuda incobrable es de:

Calcular el valor esperado del nmero de pasos hasta la absorcin: Para obtener informacin
sobre el tiempo de absorcin en un sistema absorbente de Markov, en primer lugar se calcula la
matriz fundamental Q. El nmero de veces, a partir del estado i, que se espera visitar el estado j
antes de absorcin es la ijo entrada de Q.
El nmero esperado total de pasos antes la absorcin es igual a la suma de los nmeros de visitas
que se espera a hacer a todos los estados no absorbentes. Esta es la suma de todas las entradas
del io regln de Q.
El producto QT da las probabilidades de terminar en los distintos estados absorbentes. Por
ejemplo, si el io regln de QT es [x y z t], entonces, a partir de estado i, hay una probabilidad de
x en terminar en el primer estado de absorcin, y una probabilidad de y en terminar en el segundo
estado de absorcin, y as sucesivamente.
Ejemplo
Diagrama de transicin: (Estados 3 y 4 estn absorbiendo. Desapareciendo flechas indican la
probabilidad cero.)

PROCESO ESTOCASTICOS

CAPITULO IV

Matriz:

Q = (I-S)-1 =
=

0.75

-0.2

0.8

4/3

1/3

5/4

-1

As, por ejemplo, el nmero de veces, a partir del estado 2, que se espera visita estado 1 antes de
la absorcin es el entrada (2,1) de Q. Pues es igual a 1/3 aquel entrada, si se inicia en el estado 2,
se puede esperar visitar estado1 1/3 veces antes de la absorcin.
El producto QT es

2/3

1/3

1/6

5/6

QT =

Pues la segunda fila es [1/6 5/6], significa que, a partir del estado 2, hay una probabilidad de 1/6
de llegar en el primero estado de absorcin (Estado 5), y en una probabilidad de 5/6 de llegar en el
segundo estado de absorcin (Estado 6).

PROCESO ESTOCASTICOS

CAPITULO IV

PROBLEMAS PROPUESTOS:
1.

El departamento de estudios de mercado de una fbrica estima que el 20% de la gente que
compra un producto un mes, no lo comprar el mes siguiente. Adems, el 30% de quienes no
lo compren un mes lo adquirir al mes siguiente. En una poblacin de 1000 individuos, 100
compraron el producto el primer mes. Cuntos lo comprarn al mes prximo? Y dentro de
dos meses?

2.

En una poblacin de 10,000 habitantes, 5000 no fuman, 2500 fuman uno o menos de un
paquete diario y 2500 fuman ms de un paquete diario. En un mes hay un 5% de probabilidad
de que un no fumador comience a fumar un paquete diario, o menos, y un 2% de que un no
fumador pase a fumar ms de un paquete diario. Para los que fuman un paquete, o menos,
hay un 10% de probabilidad de que dejen el tabaco, y un 10% de que pasen a fumar ms de
un paquete diario. Entre los que fuman ms de un paquete, hay un 5% de probabilidad de
que dejen el tabaco y un 10% de que pasen a fumar un paquete, o menos. Cuntos
individuos habr de cada clase el prximo mes?

3.

En un pueblo, al 90% de los das soleados le siguen das soleados, y al 80% de los das nublados le
siguen das nublados. Con esta informacin modelar el clima del pueblo como una cadena de Markov.

4.

El ascensor de un edificio con bajo y dos pisos realiza viajes de uno a otro piso. El piso en el que finaliza
el viaje n-simo del ascensor sigue una cadena de Markov. Se sabe que la mitad de los viajes que
parten del bajo se dirigen a cada uno de los otros dos pisos, mientras que si un viaje comienza en el
primer piso, slo el 25% de las veces finaliza en el segundo. Por ltimo, si un trayecto comienza en el
segundo piso, siempre finaliza en el bajo. Se pide:
a. Calcular la matriz de probabilidades de transicin de la cadena
b. Dibujar el grfico asociado.
c. Cul es la probabilidad de que, a largo plazo, el ascensor se encuentre en cada uno de los tres
pisos?.

5.