2.6.

PROCESOS DE MARKOV.

19

2.6.4.

Cadena de Markov para Sistemas en estado estable

Es conveniente saber cmo se comporta el sistema, despus de cierto tiempo. Para el caso discreto, se utiliza el vector la de probabilidades

(m) = |p1 (m), p2 (m), p3 (m), ...

De esta manera se tiene que:

(2.20)

(m + n) = (n) [P ]m

(2.21)

El cual dene una relacin de recurrencia, la cual permite conocer la evolucin del vector de probabilidad de estado en el instante m, conociendo el vector de probabilidad inicial, haciendo n = 0 de la siguiente forma:

m = (0) [P ]m = = (m 2) [P ]2 = (m 1) [P ]

(2.22)

A medida que aumenta el nmero de instantes m, las matrices convergern a un valor estable (Problema 2.1), independiente del vector de probabilidad inicial. Por lo tanto, cuando el sistema llega a un estado estable j, la probabilidad en estado estable llega a ser:

j = l m [Pij ]m
m

(2.23)

Luego el vector de probabilidades en estado estable est dado por:

= |1 , 2 , 3 , ...
Usando 2.22:

(2.24) (2.25)

(m) (m 1) = (m 1) {[P ] [I ]}
Con m , m 1 m, (m) , con lo que la ecuacin 2.25 queda:

= [P ]
Ntese que se debe cumplir la condicin de probabilidad:

(2.26)

j = 1
j

(2.27)

y as determinar el vector de probabilidades de estado, en estado estable.

Ejemplo 2.6 Determinar las probabilidades de estado, en estado estable, de un sistema Markoviano descrito por su matriz de transicin de estados:
0,25 0 0,25 0,25 0,25 0,5 0 0,25 0,5 0,25 0,25 0,25 0,25 0,25 0 0,5

20

CAPTULO 2.

DESCRIPCIN MATEMTICA DE SISTEMAS M/M

Ntese que la ecuacin 2.27 reemplaza una componente del sistema descrito por la ecuacin 2.26. Luego, reemplazando la componente 4 , el sistema que dene las probabilidades en estado estacionario son:
1 = 0,251 +0,253 +0,254 2 = 0,251 +0,252 +0,253 0,254 3 = 0,51 +0,52 +0,253 1= 1 +2 +3 +4

Resolviendo el sistema: 1 = 0,1875. 2 = 0,25, 3 = 0,2917, 4 = 0,271.

Ejemplo 2.7 Se considera una seal con amplitud entre 2A y 2A, el cual solo puede tomar valores mltiplos de A. En cualquier instante n, la seal puede, ya sea quedarse en el mismo valor, aumentar A o disminuir A. Al asumir que los cambios tienen igual probabilidad, determine:
La cadena de Markov que describe el proceso. La matriz de transicin de estados. La probabilidad de que en el segundo instante, la seal pase el estado A al estado A. La probabilidad de estado de la seal en estado estable.

Figura 2.2: Seal de pasos discretos

Figura 2.3: Cadena de Markov para el ejemplo

2.6.

PROCESOS DE MARKOV.

21

El diagrama de trancisin de estados que se ilustra en la gura 2.3, determina el proceso de Markov donde: 1 otro caso Luego, la matriz de transicin de estados es igual a:
[P ] = Pij =
2 1 3

i = 2A, 2A

1/2 1/2 0 0 0 1/3 1/3 1/3 0 0 0 1/3 1/3 1/3 0 0 0 1/3 1/3 1/3 0 0 0 1/2 1/2

Para denir las probabilidades de transicin para el segundo instante, usando 2.6 se tiene:
[Pij (2)] = [P ] =
2

5/12 5/12 5/18 7/18 1/9 2/9 0 1/9 0 0

1 /6 0 0 2/9 1/9 0 1/3 2/9 1/9 2/9 7/18 5/18 1/6 5/12 5/12

Luego PA,A (2) = 1/9 = 0.111. Ntese que dicha probabilidad puede hallarse usando la matriz de transicin de estado inicial PA,A (2) = PA,0 P0,A = 1/3*1/3 = 0.111. En estado estable se debe satisfacer el sistema de ecuaciones, dado por 2.26, y eliminando el trmino 5 mediante la ecuacin 2.27:
1 = 2 = 3 = 4 = 1=
1 2 1 1 2 1 1 +3 2 1 +3 2 + 1 3 3 1 1 + 3 2 + 1 3 3 + 3 4 1 1 +3 3 + 1 3 4 + 2 5 +2 +3 +4 +5

Resolviendo el sistema, las probabilidades de estado en estado estable son: 1 = 2/13 = 0.1538, 2 = 3/13 = 0.2307, 3 = 3/13 = 0.2307, 4 = 3/13 = 0.2307, 5 = 2/13 = 0.1538.

Ejemplo 2.8 Un proceso que describe la ocurrencia de un da lluvioso, cuyos eventos son "lluvia"(R) y "no lluvia"(N), dependen nicamente si el da anterior llovi o no. Determine la matriz de transicin de estados y las probabilidades de estado. Sea PRN la probabilidad de que el primer da llueva y el segundo NO llueva, y PN R la probabilidad de que el primer da NO llueva y el segundo llueva. La matriz de la transicin de estado es:
[P ] = PN R 1 PRN 1 PN R PRN

La cadena de Markov de la gura 2.4 ilustra el proceso. La probabilidades de estado se hallan, eliminando el trmino R mediante la ecuacin 2.27 mediante el sistema de ecuaciones:
N = N PN R + R (1 PRN ) R = 1 N

22

CAPTULO 2.

DESCRIPCIN MATEMTICA DE SISTEMAS M/M

Figura 2.4: Proceso de lluvia en dos das

Luego:
N = R =

1PRN 2PN R PRN 1PN R 2PN R PRN

Ejemplo 2.9 Un proceso que describe la ocurrencia de un da lluvioso, dependiendo de lo que ocurri en los dos das anteriores. En efecto, se tienen las siguientes probabilidades de transicin de estado:
PRRR : PN RR : PRN R : PN N R :

Probabilidad de que llueva maana, dado que llovi ayer y llovi hoy. Probabilidad de que llueva maana, dado que llovi ayer y NO llovi hoy. Probabilidad de que llueva maana, dado que NO llovi ayer y llovi hoy. Probabilidad de que llueva maana, dado que ni llovi ayer ni llovi hoy.

Figura 2.5: Proceso de lluvia en tres das

Determine la matriz de transicin de estados del proceso, tomando como estados los siguientes: Estado 0: Llueve ayer, llueve hoy. Estado 1: NO llueve ayer, llueve hoy. Estado 2: Llueve ayer, NO llueve hoy.

2.6.

PROCESOS DE MARKOV.

23

Estado 3: NO llueve ayer, NO llueve hoy. Tomando la gura 2.5:

PRRR 0 1 PRRR 0 PN RR 0 1 PN RR 0 [P ] = 0 PRN R 0 1 PRN R 0 PN N R 0 1 PN N R
En el caso contnuo, el estado estacionario se obtiene cuando las probabilidades de transicin Pij (t) convergen a un valor independiente del estado inicial, dado que t

p(j ) = l m Pij (t)

t0

(2.28)

Por lo tanto, en estado estable, Pij (t) tiende a un valor, su derivada tiende a cero y de la ecuacin 2.19:
t0

l m
k =j

qkj Pjk (t) vj Pij (t) =

k =j

qkj p(k ) vj p(j ) = 0

Luego, se describe la ecuacin de conservacin:

vj p(j ) =
k =j

qkj p(k )

j,
j

p(j ) = 1

(2.29)

Las probabilidades p(j ) se pueden interpretar como la fraccin de tiempo que el sistema permanece en el estado j cuando se considera un tiempo sucientemente largo. Adems se tienen las siguientes variables: Tasa a la cual el sistema deja el estado j: vs (j )p(j ) Tasa a la cual el sistema llega al estado j:

vkj p(k )
k =j

(2.30)

Ntese que, al tomar dichas tasas como ujos, el ujo de entrada es igual al ujo de salida.

Ejemplo 2.10 Determinar las probabilidades de estado en rgimen estable de un sistema Markoviano descrito por sus tasas de transicin de estado 12 , 21 y sus tasas de despacho 1 , 2 , como se ve en la gura 2.6.
Utilizando la ecuacin 2.29:
v (1)p(1; t) = 1 p(1; t) v (2)p(2; t) = 2 p(2; t) vk1 p(k ; t) = 21 p(2; t)
k=1

24

CAPTULO 2.

DESCRIPCIN MATEMTICA DE SISTEMAS M/M

Figura 2.6: Cadena de Markov para el ejemplo

vk2 p(k ; t) = 12 p(1; t)

k=2

Ntese que la restriccin en la ecuacin 2.29 determina que:

p(1; t) + p(2; t) = 1

Luego, se tiene el sistema:

1 p(1; t) = 21 p(2; t) 2 p(2; t) = 12 p(2; t) p(1; t) = 1 p(2; t)

Resolviendo el sistema:
p(1; t) = 12 21 21 , p(2; t) = 1 + 21 2 (1 + 21 )

Ntese que 1 = 12 y 2 = 21 . Finalmente:

p(1; t) = 2 1 , p(2; t) = 1 + 21 1 + 21

2.7. Procesos de nacimiento y muerte.

Se considera un sistema de en el cual la tasa de entidades que llegan y la tasa de entidades que dejan el sistema dependen del nmero de entidades en el sistema. As, si n es el nmero de entidades, y n , n son, respectivamente, las tasas de llegada y salida de entidades. De acuerdo con el proceso de Markov, la funcin de densidad de probabilidad de los tiempos de llegada es exponencial con media 1/n , y la funcin de densidad de probabilidad de los tiempos de salida es exponencial con media n Este proceso se conoce con el nombre de proceso de nacimiento y muerte donde las entidades del sistema representan los individuos de una poblacin, las llegadas son los nacimientos y las salidas las muertes. En este caso las transiciones a partir del estado n se dan nicamente para los estados n 1 (muerte) e n +1 (nacimiento). Se tienen las siguientes probabilidades de transicin de estado para el estado n > 0, usando 2.19: