Cadenas de Markov

Proceso Estocsticos
Fenmeno aleatorio: fenmeno emprico que
obedece leyes probabilsticas en lugar de
determinsticas.
Proceso estocstico: fenmeno aleatorio que
surge en un proceso que se desarrolla en el
tiempo de una manera controlada por medio
de leyes probabilsticas.

Proceso estocstico
Por lo tanto, un proceso estocstico es una
familia de variables aleatorias que
proporciona una descripcin de la evolucin
de un determinado fenmeno a travs del
tiempo:
,
: estado del proceso en el instante t
T: conjunto de ndices del proceso.

Proceso estocstico
Definicin clsica:
Es una coleccin de variables aleatorias
indexadas por un conjunto T y definidas en
algn espacio de probabilidad.
Frecuentemente se interpreta a T como un
conjunto de parmetros temporales.

Clasificacin de los Procesos

Estocsticos
De a cuerdo al parmetro T:
,
Si T es numerable: Proceso estocstico en
tiempo discreto
, = 0,1,2
Si T es un intervalo: Proceso estocstico en
tiempo continuo
, 0

Espacio de estados del proceso

Es el conjunto de todos los valores posibles que
puede tomar una variable aleatoria X(t).
Puede ser discreto o continuo.

Espacio de estados del proceso

Cuando es discreto o finito:
La condicin actual del sistema puede estar en una de
M+1 categoras o estados mutuamente excluyentes:
0,1,2,..M
As, Xt es el estado del sistema en el tiempo t que puede
ser 0,1,..M
Cuando es continuo:
Los estados no estn definidos. Puede ser cualquier real
no-negativo.

Ejemplos
Tiempo discreto y espacio de estados discreto:
Jugador que tiene 30 pesos y puede ganar o
perder 10 con probabilidad p y 1-p. Deja de
jugar cuando tenga 0 o 60
Tiempo discreto y espacio de estados continuo:
Cantidad de agua almacenada en un embalse
cada hora.

Ejemplos
Tiempo continuo y espacio de estados discreto:
Nmero de computadoras encendidas.
Tiempo continuo y espacio de estados
continuo:
M3 de agua almacenada en un embalse a cada
instante.

Cadenas de Markov
Muchas veces, el comportamiento de un
sistema se puede representar, describiendo
todos los distintos estados que el sistema
puede ocupar e indicando las transiciones del
sistema de un estado a otro.
Si las transiciones de un estado a otro
cumplen ciertos requisitos de independencia
(ausencia de memoria), el sistema puede
describirse mediante una Cadena de Markov.

Un proceso estocstico es una cadena

de Markov cuando..
Los estados son un conjunto numerable (si no, es un
proceso de Markov)
Si X(t) es el evento, es decir, en el instante t el sistema
se encuentra en el estado i, se debe cumplir:

=
=

1 = ,
1 =

2 = , =

Si
=
1 = =
1 =
0 =
para todo t, tenemos una Caden de Markov de tiempo
discreto homognea.
Nota: algunos autores usan proceso cuando el tiempo es
continuo y asumen que el estado es discreto.

Representacin grfica

=
=

pii
i

pji

pij

pjj

1 =
1 =

1 =
0 =

1 =

0 =

X(t)=i: El sistema est en el estado

i en el tiempo t.
Pij: probabilidades de transicin en
un paso

Matriz de probabilidades de transicin

Matriz de probabilidades de transicin en un
paso:
Es el conjunto de probabilidades pij que definen la
evolucin del sistema. Se pueden representar
como una matriz.
Si describe solo un paso intermedio es la matriz de
probabilidades de transicin en 1 paso.

Estado esperado en el instante n

suponiendo que se parte del estado i
=

Es decir, qu estado se dar en el paso n dado

que en el presente estoy en el paso i?

Estado esperado en el instante n

=

Es decir, qu estado se tendr en el instante n,

independientemente del estado que se tenga en
el momento actual.

Clculo de la matriz P(n) de forma

eficiente
Teorema: Cada matriz estocstica tiene un
eigenvalor (valor caracterstico) y ninguno de los
eigenvalores es mayor a 1 en valor absoluto.
Se pueden organizar dichos eigenvectores como
filas de una matriz. As:
=
El eigenvector de la izquierda H es un punto fijo
de P.

Clculo de la matriz P(n) de forma

eficiente
De esta manera:
Y

=
( )

!
!

"
"

Donde:
H es la matriz de autovalores
%& ' = 0
D es la matriz de Eigenvalores %& = 0
% 0
!=
0 %

Comportamiento Estacionario
=

..

Conforme aumentan los pasos, la matriz de

transicin se va estabilizando.
Este es el estado estacionario.
No ocurre en todos los casos

Estado estacionario
As, el estado estacionario
se puede
calcular con la matriz de transicin
estacionaria:
= 1,0,0,0 : probabilidad del estado 0
= 0,1,0,0 : probabilidad del estado 1
=
: la matriz estacionaria

Estado Estacioinario
Otra opcin es aplicar la ecuacin:
=
Donde p es el estado estacionario y P es la
matriz de transicin.

Clasificacin de estados
Estado Accesible:
El estado j es accesible desde el estado i, ,
si
> 0 para algn n0.
Comunicacin entre estados:
Dos estados i y j se comunican, , si son
accesibles entre s.

Comunicacin entre estados

Si:
=

=1

=0,

1. Reflexiva: Cualquier estado se comunica consigo

mismo.
2. Simtrica: Si el estado i se comunica con el estado j,
entonces el estado j se comunica con el estado i.
3. El estado i se comunica con el estado j y este con el
estado k, entonces el estado i se comunica con el
estado k.

Matrices Ergdicas
Definicin
Propiedades

Matrices regulares
Definicin
Propiedades
Ejemplos