V

O
K
R
A
M
E
D
S
CADENA

UNIDAD 4

PROCESO ESTOCSTICO
Una sucesin de observaciones X1, X2, , Xn se denomina proceso
estocstico.
Si los valores de estas observaciones no se pueden predecir
exactamente, pero se pueden especificar las probabilidades para los
distintos valores posibles en cualquier instante de tiempo.

PROCESO ESTOCSTICO
X1: variable aleatoria que define el estado
inicial del proceso

Xn: variable aleatoria que define el estado del

proceso en el instante de tiempo n

PROCESO ESTOCSTICO

El espacio paramtrico T de un proceso

estocstico es el conjunto de todos los posibles
valores que puede tomar el tiempo.

PROCESO ESTOCSTICO

PROCESO ESTOCSTICO
El

espacio de estados S de un proceso estocstico es el

conjunto de todos los posibles valores que puede tomar dicho

proceso:

CADENAS DE MARKOV
Una cadena de Markov es una serie de eventos, en la cual la probabilidad
de que ocurra un evento depende del evento inmediato anterior. Las
cadenas de este tipo tienen memoria. "Recuerdan" el ltimo evento y esto
condiciona las posibilidades de los eventos futuros.
Esta dependencia del evento anterior distingue a las cadenas de Markov
de las series de eventos independientes, como tirar una moneda al aire o
un dado.

CADENAS DE MARKOV
El juego de blackjack es un ejemplo en el que el pasado condiciona al
futuro. Conforme se van jugando las cartas, las probabilidades en las
siguientes manos se van modificando. Las posibilidades en el juego
dependen del estado o las condiciones en que se encuentre en el monte.

CADENAS DE MARKOV
En los negocios, las cadenas de Markov se han utilizado para analizar los
patrones de compra de los consumidores, para pronosticar las
concesiones por deudores que no pagan a tiempo, para planear las
necesidades de personal, para analizar el reemplazo de equipo, entre
otros.

CADENAS DE MARKOV
El anlisis de Markov, llamado as en
honor de un matemtico ruso Andrei
Andreyevich Markov que desarrollo el
mtodo en 1907, permite encontrar la
probabilidad

de

que

un

sistema

se

encuentre en un estado en particular en

un momento dado. Con esta informacin
se puede predecir el comportamiento del
sistema a travs del tiempo.

CADENAS DE MARKOV
Una cadena de Markov es un proceso estocstico en el que si el estado

actual Xn y los estados previos X1, , Xn-1 son conocidos.

Futuro

Pasado

Presente

Propiedad Markoviana

Futuro

Presente

CADENAS DE MARKOV
La probabilidad del estado futuro Xn+1 no depende de los estados
anteriores X1, , Xn-1, y solamente depende del estado actual Xn.

Es decir, para n=1, 2, y para cualquier sucesin de estados S 1, , Sn+1

RESUMIENDO
Un proceso de Markov finito tiene las siguientes caractersticas
generales:

1. Es un proceso estocstico
2. Tiene la propiedad Markoviana
Propiedad de Markov: conocido el estado del proceso en un momento
dado, su comportamiento futuro no depende del pasado. Dicho de otro
modo, dado el presente, el futuro es independiente del pasado

EJEMPLO
El estado de una mquina puede describirse como una cadena
de Markov.

Xn = condicin de la mquina en el n-simo periodo de tiempo

0 = la mquina est funcionando
1 = la mquina est parada en espera de reparacin
2 = la mquina est parada en reparacin

EJEMPLO

Espacio paramtrico:

Espacio de estados:

Tiempo (min., hrs.,

das, etc)

Los valores que

puede tomar la
variable

PROBABILIDADES DE TRANSICIN
Las

cadenas

de

Markov

estn

completamente

caracterizadas por las probabilidades de transicin en una

etapa,
,

PROBABILIDADES DE TRANSICIN
Slo trabajaremos con cadenas de Markov homogneas en el tiempo,

que son aquellas en las que

Donde

se llama probabilidad de transicin en una etapa desde el

estado i hasta el estado j.

MATRIZ DE TRANSICIN
Los se agrupan en la denominada matriz de transicin de la cadena de

Markov:

n+1
n

PROPIEDADES DE LA MATRIZ DE TRANSICIN

Por ser los probabilidades,

Por ser 1 la probabilidad del suceso seguro, cada fila ha de sumar 1, es

decir,

Una matriz que cumpla estas dos propiedades se llama matriz estocstica

MATRIZ DE TRANSICIN
Los se agrupan en la denominada matriz de transicin de la cadena de

Markov:

+
=1

DIAGRAMA DE TRANSICIN DE ESTADOS

El diagrama de transicin de estados (DTE) de una cadena de Markov
es un grafo dirigido cuyos nodos son los estados de la cadena de
Markov y cuyos arcos se etiquetan con la probabiliad de transicin
entre los estados que unen. Si dicha probabilidad es nula, no se pone
arco.

EJEMPLO: lnea telefnica

Sea una lnea telefnica de estados:
ocupado = 1 y desocupado = 0.
Si en el instante t est ocupada, en el instante t+1 estar ocupada
con probabilidad 0.7 y desocupada con probabilidad 0.3. Si en el
instante t est desocupada, en el t+1 estar ocupada con
probabilidad 0.1 y desocupada con probabilidad de 0.9.

EJEMPLO: lnea telefnica

Espacio de estado:

Espacio paramtrico:

EJEMPLO: lnea telefnica

n+1
n

0.1

0.9

0
0.3

0.7

EJERCICIO
Determine y resuelva dos ejemplos en
equipo donde se pueda aplicar la matriz de
transicin.

PROBABILIDAD ESTADO N-ESIMO

Es la probabilidad de llegar al estado j despus de n pasos

(transiciones).
Se observa que

es la probabilidad de que el sistema ocupe

inicialmente el estado de modo que

PROBABILIDAD ESTADO N-ESIMO

Si se denomina

a la probabilidad de alcanzar en un solo paso,

entonces, por el teorema de probabilidad total

PROBABILIDAD ESTADO N-ESIMO

Segn esto entonces se puede expresar:

Donde T es la matriz de transicin.

Del mismo modo:
En n pasos:
Y de manera general ser:

EJEMPLO
El departamento de estudios de mercado de una fbrica estima que el 20%
de la gente que compra un producto un mes, no lo comprar el mes
siguiente.
Adems, el 30% de quienes no lo compren un mes lo adquirir al mes
siguiente.
En una poblacin de 1000 individuos, 100 compraron el producto el primer
mes.
Cuntos lo comprarn dentro de dos meses?

EJEMPLO

0.80

Compran

0.20

0.30

No compran

0.70

EJERCICIO
1. En un pueblito el clima puede cambiar de un da para otro, considere slo dos estados
del tiempo:

Clima seco

Clima hmedo

La probabilidad de tener un clima seco al dpia siguiente es de 0.8 si el da actual es seco,

pero si el clima es hmedo la probabilidad de tener un clima seco es de 0-6.
Suponga de dichos valores no cambian en el tiempo, se pide determinar:

a) El diagrama de transicin
b) La matriz de transicin

EJERCICIO (SOLUCIN)

a) El diagrama de transicin
0.2
0.8

Seco

Hmedo
0.6

b) La matriz de transicin
Espacio de estado:

0.4

EJERCICIO
2. El valor de una accin flucta da con da. Cuando la bolsa de valores se
encuentra estable, un incremento en un da tiende a anteceder una baja el da
siguiente, y una baja por lo regular es seguida por un alza. Podemos modelar
estos cambios en el valor mediante un proceso de Markov con dos estados, el
primer estado consistente en que el valor se incrementa un dia dado, el
segundo estado definido por la baja. (la posibilidad de que el valor permanezca
sin cambio se ignora) suponga que la matriz de transicin es la siguiente:

0208 0901 ,, ,, Si el valor de la accin baj hoy, calcule la probabilidad de que

se incremente 3 das despus a partir de ahora.
Cuntos lo comprarn dentro de dos meses?

EJERCICIO

Cambio de maana

Cambio de hoy

Si el valor de la accin baj hoy, calcule la probabilidad de que se incremente 2

das despus a partir de ahora.

EJERCICIO (SOLUCIN)

R= 24 % de probabilidad