CADENAS DE MARKOV

Una cadena de Markov es una sucesión de ensayos similares u observaciones

en la cual cada ensayo tiene el mismo número finito de resultados posibles y en
donde la probabilidad de cada resultado para un ensayo dado depende sólo del
resultado del ensayo inmediatamente precedente y no de cualquier resultado
previo.

Los procesos de paseo aleatorio en realidad son un caso particular de procesos

más generales que son las cadenas de Markov. En esencia, una cadena es un
proceso en tiempo discreto en el que una variable aleatoria Xn va cambiando
con el paso del tiempo. Las cadenas de Markov tienen la propiedad de que la
probabilidad de que Xn = j sólo depende del estado inmediatamente anterior del
sistema: Xn−1. Cuando en una cadena dichas probabilidades no dependen del
tiempo en que se considere, n, P (Xn = j | Xn−1 = i)

Con dos estados (A y B) en nuestro espacio de estados, hay 4 transiciones

posibles (no 2, porque un estado puede hacer una transición hacia sí mismo). Si
estamos en 'A' podemos hacer la transición a 'B' o permanecer en 'A'. Si estamos
en 'B' podríamos hacer la transición a 'A' o permanecer en 'B'. En este diagrama
de dos estados, la probabilidad de pasar de cualquier estado a cualquier otro
estado es 0.5.

Propiedad de Markov: Dada una secuencia de variables aleatorias......,,, X1 X2

X3, tales que el valor de Xn es el estado del proceso en el tiempo n. Si la
distribución de probabilidad condicional de Xn+1 en estados pasados es una
función de Xn por sí sola, entonces:
 MATRIZ DE TRANSICIÓN

Consideremos un proceso de Markov en que el sistema posee n estados

posibles, dados por los números 1, 2, 3, …., n. Denotemos Pij a la probabilidad
de que el sistema pase al estado j después de cualquier ensayo en donde su
estado era i antes del ensayo. Los números Pij se denominan probabilidades de
transición y la matriz nxn P =(Pij) se conoce como matriz de transición del
sistema

Ejemplo.

Si sólo hay dos partidos políticos fuertes, llamados A y B, los que por lo regular
controlan el gobierno, entonces podemos decir que el país se encuentra en el
estado A o B si el partido A o B ganara la elección. Cada ensayo (o sea cada
elección), coloca al país en uno de los dos estados A o B. Una sucesión de 10
elecciones podría producir resultados tales como los siguientes: A, B, A, A, B, B,
B, A, B, B

Consideremos un sistema de n estados posibles, de modo que cada ensayo

tiene n resultado posibles. En cualquier etapa en el futuro no podemos decir en
qué estado se encontrará el sistema pero podríamos estar en posición de dar las
probabilidades de que se encuentre en cada uno de los estados 1, 2,…., n. En
general, si (p1 p2….pn) son las probabilidades de que el sistema se encuentre
en los estados 1, 2, ….., n, respectivamente, entonces la matriz fila 1xn ((p1
p2….pn) se conoce como matriz de estado inicial o vector de estado inicial del
sistema. Obviamente que la suma de esa fila es 1. Denotaremos a la matriz de
estado inicial con Ao y a la matriz de estado después de k ensayos o etapas por
Ak

Teorema 1: Si P denota la matriz de transición de una cadena de Markov y Ak

es la matriz de estado después de k ensayos, entonces la matriz de estado Ak
+1 después del ensayo siguiente está dada por: Ak +1 = Ak .P

Teorema 2: Una matriz de transición P se dice que es regular si para algún

entero positivo k, la matriz k P no tiene elementos iguales a cero. Si P es una
matriz de transición regular, entonces sin importar la matriz de estado inicial, las
matrices de estado sucesivas se aproximan a alguna matriz de estado fija B en
donde B.P = B. La matriz B se denomina matriz estacionaria del sistema
 BIBLIOGRAFIA

 https://upcommons.upc.edu/bitstream/handle/2117/10078/GilavertPuig_
EstudioComparativo.pdf
 http://www.bioingenieria.edu.ar/academica/catedras/metestad/Cadenas
%20de%20Markov-1.pdf
 http://halweb.uc3m.es/esp/Personal/personas/jmmarin/esp/PEst/tema4p
e.pdf