Introduccion En muchos procesos de la vida real o hechos, ocurren en tiempo continuo (por ejemplo, eventos de enfermedad de transmisin, las llamadas de telfonos celulares, los tiempos de fallo de un componente mecnico, ...). Una aproximacin de tiempo discreto puede o no puede ser adecuada. Conceptos Previos Un proceso estocstico es una variable aleatoria que evoluciona a lo largo tiempo Un proceso de Markov es un proceso estocstico cuyo comportamiento futuro depende slo de la situacin actual, no en el pasado
Proceso de Markov Estado del Espacio Discreto Continuo Espacio de Parametros (Tiempo) Discreto Cadena de Markov Continuo Cadena de Markov Proceso de Movimientto Para tiempos continuos Browmiano CTMC es similar a DTMC excepto one-step has no meaning in continuous time so the Markovian property must hold for all future times instead of just for one step.
Cadena de Markov Tiempo Continuo (CTMC) Un proceso estocstico {X(t), t 0} es una cadena de markov a tiempo continuo si para todo s, t 0 y enteros no negativos i, j , x(u), 0 u < s,
Y si esta probabilidad depende de s, entonces la CTMC tiene probabilidades de transicin estacionarias.
Para todo s.
Definicin Alternativa La cantidad de tiempo que se gasta en el estado i antes de hacer una transicin a un estado diferente se distribuye de manera exponencial con el parmetro v i , y, Cuando sale del estado i entra al estado j con probabilidad P ij , donde P ii = 0 y entonces,
y Proceso de Nacimiento y Muerte 0 n+1 n-1 n 1 2 l 1 Si una CTMC tiene estados {0, 1, } y transiciones desde un estado n puede que pase al estado n-1 o n+1, es llamado un proceso nacimiento muerte. El ratio de Nacimiento (Muerte) en el estado n es l n (m n ), asi tenemos l o l n-1 l n m n m n+1 m 1 m 2 Ecuacin de Chapman Kolgomorov A fin de obtener desde el estado i en el tiempo 0 hasta el estado j en el tiempo t+s, el proceso debera de estar en algn estado k para un tiempo t Donde esta puede derivado de dos conjuntos de expresiones diferenciales: Forward Backward Limites de Probabilidad Si Todos los estados de la CTMC se comunican: Para cada par i, j, empezando desde el estado i hay una probabilidad mayor que cero, de estar el en estado j, y La cadena es recurrente positiva: Empieza de algun estado, el tiempo de retorno a el estado es finito, Por tanto los limites de Probabilidad exiten: (y cuando los limites de probabilidad existen, la cadena es llamada ergodica) Podemos encontrarlos por un metodo tal como p = p P para un cadena discreta de Makov?
Matriz Generador Infinitesimal (Ratio) Sea la Matriz R con elementos (Las filas de R suman 0) Sea en la expresion de Forward. En Estado estable:
Esto puede escribirse en una forma matricial como PR = 0 junto con y resuelve el limite de probabilidades. Balance de Ecuaciones La ecuacion PR = 0 tambien puede ser interpretada con el balanceo:
El ratio al cual el proceso parte de j es igual al ratio al cual el proceso entra a j. Para el proceso Nacer Morir, Estas son las ecuaciones para el cruce de nivel de sus ecuaciones
Ratio para cruzar desde un estado n hasta un estado n+1 es igual al Ratio para cruzar desde un estado n+1 a n. Asi en un estado estable si,