Construccin de Matrices de Transicin con Cadenas de Markov Reversibles

Por Aldo Guillermo Bueno Ocana

Estudiante de la Facultad de Estudios Superiores Plantel Acatlan en la carrera de Matemticas Aplicadas y Compuatcin

Ramrez Bernal Israel profesor de la materia Procesos Estocsticos

Abril, 2013

ndice
1. Introduccin 2. Cadena de Markov Reversible 3. Tegnologia para vericar reversibilidad a ) Calcular el Limite de Probabilidades b ) Pseudocdigo c ) Diagrama de Flujo 4. Conclusion 5. Bibliograa

Introduccin

Cadena de Markov
Las evaluaciones econmicas de tecnologas sanitarias se estn convirtiendo cada vez ms importantes para guiar a los responsables polticos. Para evaluar la rentabilidad de una o nuevas tecnologas, las tcnicas de modelado son inevitables. La cadena de Markov de tiempo discreto es actualmente el modelo ms popular utilizado para la evaluacin de las intervenciones dirigidas a tratar las enfermedades crnicas. La popularidad de este modelo se debe principalmente a dos factores. En primer lugar, las enfermedades crnicas a menudo pueden ser descritas en trminos de distintos estados de salud y la cadena de Markov es un modelo simple pero potente para describir la progresin a travs de estos estados. En segundo lugar, este modelo es fcil de construir y se estudia a travs de matriz de anlisis y o simulacin. Los tpicas cadenas de Markov de tiempo discretas marca los lmites de la descripcin de la historia de cada sujeto a igual que los puntos espaciados de tiempo. En otras palabras, en lugar de modelar la posibilidad de progresin en cada instante en el tiempo (es decir, un modelo de tiempo continuo), el estado de la enfermedad slo se clasican en distintos puntos de tiempo (por ejemplo, da, mes o ao). El intervalo entre estos puntos de tiempo se conoce como el ciclo longitud. Una cadena de Markov homognea es uno cuando de Estado a Estado de las probabilidades de transicin permanecern constantes en el tiempo (es decir, ciclos) y a travs de sujetos.

Modelo Homogeneo de Markov

Supongamos que una enfermedad crnica se pueden clasicar en h distintos, y que no se superponen los estados de salud. Una historia de la enfermedad puede ser descrita por el movimiento a travs de estos estados con el tiempo. El modelo discreto de tiempo de Markov describe este movimiento mediante la modelizacin de los estados en momentos distintos denominados ciclos. Este modelo no se ocupa con la progresin entre ciclos,simplemente los modelos de la salud del estado al nal de cada ciclo. La clave para el modelo de Markov Markov es la propiedad. Esto indica que, dado el pasado entero del sujeto, el estado actual depende slo sobre el estado pasado ms reciente. Esta propiedad sin memoria permite que el modelo que se describe nicamente en trminos de una matriz de transicin de un solo ciclo. La matriz de transicin contiene las probabilidades, ; r, c = 1, 2, ..., h , donde rc representa la probabilidad de movimiento del estado r al c por el nal del ciclo y h j =1 rj =1 para todo r.La longitud de ciclo comn se asume por lo que estas probabilidades son las mismas para cada ciclo.

Cadena de Markov Reversible

Una clase de procesos de Markov se dice que es reversible si, en cada intervalo de tiempo, la distribucin del proceso es el mismo que cuando se ejecuta hacia atrs como cuando se ejecuta hacia adelante. Es decir, para cualquier n 0 y (1,0 ..., in ) S (n+1) en un tiempo discreto.

1. P (xm = im for 0 m n) = P (x(tnm ) = im for 0 m n) y el ajuste de tiempo continuo es 2. P (x(tm ) = im for 0 m n) = P (x(tn tm ) = im for 0 m n) Siempre que 0 = t0 ... tn y dependiendo de si la conguracin es la de tiempo discreto o continuo, se tiene: 3. P (X0 = i, Xn = j )=P (X0 = j, Xn = i) De hecho la reversibilidad dice que, dependiendo de la conguracin, la distribucin conjunta de (X0 , Xn ) es el mismo que (Xt , X0 ). Si P es la matriz de probabilidad de transicin, entonces, tomando n = 1en la ecuacin (1) vemos que: 4. i0 = jji la condicin de equilibrio detallado. A la inversa, (3) implica la reversibilidad. Para ver esto, se trabaja por induccin sobre n 1para comprobar que: i0 pi0 i1 ...pjn1in Que es equivalente a (1). Adems, podemos comprobar que es un proceso reversibleestacionario, ya que tiene las distribuciones invariantes. Se resume lo anterior con el siguiente teorema. Teorema 1 Un proceso estacionario es reversible si y slo si existe un conjunto positivo de nmeros i sumando a la unidad de tal manera que:

i pij = j pji para todo i, j S Cuando se produzca dicha coleccin, la distribucin de equilibrio existe.

Tecnologa para vericar la reversibibilidad

La ecuacin de balance detallado nos permite determinar si un proceso es reversible basado en la matriz de probabilidad de transicin y las probabilidades limitantes.Disee un mtodo para vericar la reversibilidad de una cadena de Markov basado en el equilibrio detallado de ecuaciones. En concreto, utilize un programa de I R(2,9,0) para ayudar a calcular la limitacin de probabilidades y clculos relacionados. A partir de eso, cuando se menciona matriz reversible o una matriz que es reversible, es en realidad que la matriz de transicin signica que es a la vez de un proceso reversible de Markov.

Calcular el Limite de Probabilidades

Sea P la matriz de transicin de una cadena de Markov. Sea P n en n pasos de la matriz de transicin.Sea P n la potencia n-sima de la matriz de transicin. Asi = l m P n , si el lmite existe. Deje que sea n el vector de probabilidad, si el lmite existe. Asi sabemos que = l m P (n) = l m P n
n n

y cada la comn de

, es el vector a limitar . P es simtrico

Propiedad 1 Una cadena de Markov con matriz de transicin P es reversible si donde signica la multiplicacin. Asi R =
T

1 2 3 1 2 3 1 2 3 . . . .. . . . . . . .

Asi

R=

P =

1 2 3 p11 p12 p13 1 2 3 p21 p22 p23 = 1 2 3 p31 p32 p33 . . . . . . .. .. . . . . . . . . . . . . . .

p11 p12 p13 p21 p22 p23 p31 p32 p33 . . . .. . . . . . . .

Si se obtiene una matriz simtrica, es decir, si i pji para todo i, j, entonces el detallado balance de las ecuaciones estn satisfechos. As, la matriz de transicin P es reversible. De lo contrario, P no es reversible. Tcnicamente, con la ayuda del software,para una cadena de Markov irreducible, calculamos pn a un nmero sucientemente grande de potencia n, digamos 100, entonces por lo general se obtendr una matriz que tiene las comunes, y cada la es el vector a limitar . Si las las no son todas iguales, es posible que necesite tomar un n mayor para ver si podemos obtener la matriz deseada. Si no, es posible que indebidamente metamos el tamano de la matriz de transicin ya que, un proceso de Markov nito siempre tiene distribucin estacionaria.

Pseudocdigo
Tomemos como ejemplo la matriz de transicin

P =

0 .5 .25 .25 .5 0 .25 .25 .5 .5 0 0 .5 .5 0 0

Aplicamos los siguientes comandos en R Se asigna a la variable power la multiplicacion de A por un vector numerico del tamano de la matriz > power = f unction(A, n){Ans = diag (dim(A)[1]); for(i in 1:n){Ans = Ans % %A}; Ans} Se crea la matriz inicial sabiendo que es estocastica > P = matrix(c(0, ,5, ,5, ,5, ,5, 0, ,5, ,5, ,25, ,25, 0, 0, ,25, ,25, 0, 0), 4, 4) Se imprime la matriz >P

0 .5 .25 .25 .5 0 .25 .25 .5 .5 0 0 .5 .5 0 0

> P 100 = power(P, 100) > P 100 Por lo que se calcula la matriz de transicin de P

0.3333333 0.3333333 0.3333333 0.3333333

0.3333333 0.3333333 0.3333333 0.3333333

0.1666667 0.1666667 0.1666667 0.1666667

0.1666667 0.1666667 0.1666667 0.1666667

Asi tenemos el vector de P que es = 0,33333330,33333330,16666670,1666667 > x[1, ] [1]0,33333330,33333330,16666670,1666667 Finalmente vericamos si la matriz es simetrica para conocer si es reversible con el siguiente codigo: > t(P 100) P Lo que genera una matriz simetrica que comprueba si es reversible

0.00000000 0.16666667 0.08333333 0.08333333

0.16666667 0.00000000 0.08333333 0.08333333

0.08333333 0.08333333 0.00000000 0.00000000

0.08333333 0.08333333 0.00000000 0.00000000

Conclusin
Hasta el momento, se ha propuesto un mtodo para vericar la reversibilidad de una matriz de transicin, crear la matriz de transicion y el vector jo T con ayuda del programa R. A pesar de que se trata principalmente de matrices de probabilidad de reversibilidad de Markov en tiempo discreto de transicin, la mayor parte de los resultados se mantienen para procesos de Markov continuos y matrices de cambio (generadores innitesimales).

Referencias
[1] Aldous, D. and Fill, J. (2002).Reversible Markov Chains and Random Walks on Graphs. http://www.stat.berkeley.edu/?aldous/RWG/book.html [2] Allen, L.J.S., (2003)..An Introduction to Stochastic Processes with Applications to Biology. Pearson.