Distribuciones

SEMANA 4 TRANSITORIAS

[ PROGRAMACIN ESTOCSTICA ]


LECTURA UNO: DISTRIBUCIONES TRANSITORIAS

Recordemos que en la seccin anterior se explic cmo definir una Cadena de Markov en
Tiempo Discreto (CMTD): debamos definir una variable de estados, un espacio de estados con
los valores que poda tomar dicha variable, un grafo de probabilidades de estado y una matriz
de probabilidades de transicin de un paso. A partir de esta informacin, podamos predecir
probabilsticamente el estado de la variable en el siguiente paso. La cuestin sera entonces:
Cmo predecir el estado de la variable para pasos posteriores al ! + 1?
Para responder a esta pregunta, en esta seccin del mdulo nos enfocaremos en la Distribucin
Transitoria, es decir, la distribucin de !! para cualquier ! 0.
Ahora, siendo !! , ! 0 una CMTD homognea con espacio de estados ! = {1,2, , !} y
matriz de probabilidades de estado , entonces esta matriz podr tener un vector de
distribucin inicial ! = [!! , !! , , !! ], donde:
!! = ! !! = ! , ! ! !
Con esta distribucin transitoria buscamos encontrar !(!! = !) para todo ! !, y ! 0. Para
ello tenemos que:
!

! !! = ! = ! !! = ! !! = ! ! !! = !
!!!
!

= !! ! !! = ! !! = !
!!!
Dado que contamos con la distribucin inicial, nos basta con estudiar la probabilidad
condicional ! !! = ! !! = ! . A este valor se le conoce como la probabilidad de transicin de n
pasos de la CMTD. Al igual que en la seccin anterior, utilizaremos una notacin resumida:
!! (!) = ! !! = !
!!" (!) = ! !! = ! !! = !
De forma anloga a la seccin anterior, construiremos una matriz de probabilidades de
transicin de n pasos:
!!,! (!) !!,! (!) !!,! (!)
(!)
(!) = !!,! !!,! (!) !!,! (!)

(!) (!)
!!,! !!,! !!,! (!)
Observemos los dos primeros casos ((!) y (!) ):
1 !" ! = !
!!" (!) = ! !! = ! !! = ! =
0 !" ! !
Lo que quiere decir que
(!) = !
As mismo,
!!" (!) = ! !! = ! !! = ! = !!"
Y por lo tanto:
(!) =

2 [ POLITCNICO GRANCOLOMBIANO ]


Ahora podemos construir el vector transitorio!(!) = [!! (!) , !! (!) , , !! (!) ], tal que su forma
matricial sea
!(!) = !(!)
De esta manera slo nos queda encontrar una forma para calcular (!) , para lo cual, el siguiente
teorema nos da una solucin general:
Teorema Uno: (Ecuaciones de Chapman-Kolmogorov):
!
(!!!)
!!" = !!" (!) !!" (!)
!!!
Prueba:
!

! !!!! = !|!! = ! = ! !!!! = ! !! = !, !! = ! ! !! = !|!! = !

!!!
Por propiedad Markoviana podemos decir que:
!

= ! !!!! = ! !! = ! ! !! = !|!! = !
!!!
Por propiedad de homogeneidad decimos que:
!

= ! !! = ! !! = ! ! !! = !|!! = !
!!!
!

= ! !! = ! !! = ! ! !! = !|!! = !
!!!
!

= !!" (!) !!" (!)

!!!
Para ! + ! = ! y ! = 1, tenemos:
!

!!" (!) = !!" (!!!) !!"

!!!
Por lo tanto, podemos reorganizar esta ltima suma como una multiplicacin de matrices, de tal
manera que en trminos de matriz:
(!) = (!!!)
Luego, para ! = 2 tenemos:
(!) = (!) = = !
De forma general decimos que
(!) = !

Ejemplo Uno:
Considere una CMTD de tres estados con matriz de probabilidades de transicin
0.20 0.30 0.50
= 0.10 0 0.90
0.55 0 0.45

[ PROGRAMACIN ESTOCSTICA ] 3


y distribucin inicial ! = [0.2, 0.3, 0.5]. Calcule la distribucin transitoria para !! .

De acuerdo a la forma matricial, podemos calcular:
!(!) = !(!)
0.20 0.30 0.50 !
= 0.2, 0.3, 0.5 0.10 0 0.90
0.55 0 0.45
= [!. !"#", !. !"#$, !. !"#$].
Ejemplo Dos:
En cierto almacn de electrodomsticos hay dos vendedoras de televisores LCD, las cuales
realizan sus ventas de manera independiente. De acuerdo a un estudio de ventas, se sabe que
cada una de ellas realiza mximo una venta por da.
Vendedora uno, vende con probabilidad de 1/2
Vendedora dos, vende con probabilidad de 1/3.
Al inicio de cada da, la bodega siempre tiene dos televisores. Modele el sistema como una
CMTD.
!! : Nmero de televisores en la bodega al final del da n.
! = {0, 1, 2}
Para construir la matriz , debemos encontrar cada una de las probabilidades de transicin
primero:
!!,! = ! !1 !"#$% ! !2 !"!"# = 1 2 1 3 = ! !
!!,! = ! !1 !"#$% ! !2 !" !"#$% + ! !1 !" !"#$% ! !2 !"#$%
= 1 2 2 3 + 1 2 1 3 = ! !
!!,! = ! !1 !" !"#$% ! !2 !" !"#$% = 1 2 2 3 = ! !
!!,! = ! !1 !"#$% ! !2 !"#$% = 1 2 1 3 = ! !
!!,! = ! !1 !"#$% ! !2 !" !"#$% + ! !1 !" !"#$% ! !2 !"#$%
= 1 2 2 3 + 1 2 1 3 = ! !
!!,! = ! !1 !" !"#$% ! !2 !" !"#$% = 1 2 2 3 = ! !
!!,! = ! !1 !"#$% ! !2 !"#$% = 1 2 1 3 = ! !
!!,! = ! !1 !"#$% ! !2 !" !"#$% + ! !1 !" !"#$% ! !2 !"#$%
= 1 2 2 3 + 1 2 1 3 = ! !
!!,! = ! !1 !" !"#$% ! !2 !" !"#$% = 1 2 2 3 = ! !.
De tal manera que la matriz queda de la siguiente manera:
! ! !
! ! !
! ! !
= ! ! !
! ! !
! ! !
Observe que sin importar el da anterior, la probabilidad de terminar con 0, 1 2 televisores al
final del da es la misma siempre.
Cul es la probabilidad de que al final del segundo da la bodega no tenga televisores?

4 [ POLITCNICO GRANCOLOMBIANO ]


! !! = 0 = !(!) = !(!) = !!
Puesto que todas las filas tienen las mismas probabilidades, no importa a que potencia yo eleve
esta matriz, siempre tendr los mismos valores:
= !
1 1 1
6 2 3
!
! = 1 1 1 1 1 1 ! , ! , !
6, 2, 3 6 2 3 = ! ! !
1 1 1
6 2 3
Otra forma podra ser, usando directamente las ecuaciones de Chapman-Kolmogorov:
!

! !! = 0 = !!,! (!!!) !!,!

!!!
= !!,! !!,! + !!,! !!,! + !!,! !!,!
= 1 6 1 6 + 1 2 1 6 + 1 2 1 6
= ! !.
Lo que quiere decir que la probabilidad de que al final del da dos la bodega no tenga televisores
es de 1/6.

Ejemplo Tres:
Sea !! , ! 0 una CMTD caracterizada por la siguiente matriz de probabilidades de transicin
y el siguiente vector de distribucin inicial:
0.1 0 0.2 0.3 0.4
0 0.6 0 0.4 0
= 0.2 0 0 0.4 0.4
0 0.4 0 0.5 0.1
0.6 0 0.3 0.1 0
! = 0.5, 0, 0, 0.5
!. ! !! = ! !!!,!,!,!,! .
Para encontrar la probabilidad de estar en cada estado ! en el segundo paso (! = 2), debemos
calcular el vector transitorio correspondiente:

0.29 0.12 0.14 0.3 0.15
0 0.52 0 0.44 0.04
!(!) = !(!) = 0.5, 0, 0, 0.5 0.26 0.16 0.16 0.3 0.12
0.06 0.44 0.03 0.42 0.05
0.12 0.04 0.12 0.35 0.37
!. !"#, !. !", !. !", !. !"#, !. !"
=
b.! !! = 5, !! = 2 .
Hallar la probabilidad conjunta de que en el paso cuatro no encontremos en el estado cinco y
que a su vez en el paso dos hayamos pasado por el estado dos, implica dos cosas
principalmente: que primero debemos encontrar la probabilidad de estar en el estado dos en el
paso dos, y segundo, calcular la probabilidad de estar en el estado cinco en el paso cuatro dado

[ PROGRAMACIN ESTOCSTICA ] 5


que ya pasamos por el estado dos en el paso dos. De tal forma que la probabilidad conjunta que
buscamos
! !! = 5, !! = 2 = ! !! = 5 !! = 2 ! !! = 2
= !!,! (!) ! !! = 2

De la matriz (!) podemos encontrar !!,! (!) en la segunda fila, quinta columna. Y para ! !! =
2 utilizamos el segundo valor del vector transitorio de un paso:
= !. !" !. !" = !. ! !"!!
Note como no se necesit calcular la probabilidad en el paso cuatro. Esto debido a que ya
conocamos la matriz de probabilidades de dos pasos. Del 2 al 4 paso solo hay dos pasos,
luego, esa misma matriz tena la probabilidad que buscbamos.
a.P(!! = 5, !! = 2, !! = 2)
Al igual que el punto anterior, esta probabilidad conjunta requiere la descomposicin de los
diferentes pasos y analizar las diferentes probabilidades condicionales.Luego,
! !! = 5, !! = 2, !! = 2 = ! !! = 5 !! = 2, !! = 2
= ! !! = 5 !! = 2 !(!! = 2, !! = 2)
= ! !! = 5 !! = 2 !!,! !(!! = 2)
= !!,! ! !!,! 0.08
= !. !" !. ! !. !" = !. !" !"!! .

6 [ POLITCNICO GRANCOLOMBIANO ]