Markov

Ejercicio N 1:

Suponga que un jugador tiene entre $1 y $3, y que en cada jugada gana $1 con probabilidad p o pierde $1 con probabilidad
(1 - p). El juego termina cuando el jugador acumula $3 o bien cuando quiebra. Este modelo es una cadena de Markov en la
que los estados representan el dinero que tiene el jugador, esto es, $0, $1, $2 o $3. Hallar la matriz de probabilidad de
transicin de un paso.

P=

0 1 2 3

0 1 0 0 0

1 1-p 0 0 0

2 0 1-p 0 p

3 0 0 0 1

Ejercicio N 2:

En el ejercicio 1, suponiendo que el jugador en un determinado momento posee $1, hallar:

a) La probabilidad de que tenga $2 al cabo de 2 jugadas.

b) La probabilidad de que tenga $3 al cabo de 2 jugadas.

b) La probabilidad de que quiebre al cabo de 2 jugadas.

0 1 2 3

0 1 0 0 0

1 1-p (1-p)p 0 P2

2 (1-p)(1-p 0 1-p p

3 0 0 0 1
Ejercicio N 3:

En el ejercicio 1, suponiendo que antes de empezar a jugar las probabilidades de que el jugador tenga $0, $1, $2 y $3
son 0, p, 1-p y 0, respectivamente, hallar el vector de probabilidades de estado luego de una jugada e interpretar cada
uno de sus elementos.

P= [0 p (1-p) 0 ]

Vector de prob luego de una jugada:

P(1) = pP

Ejercicio N 4:

Vector de prob luego de 3 jugadas : p(3)= p.P3

Igual que el ejercicio anterior, pero despus de tres jugadas.

Ejercicio N 5:

Suponga que una red de comunicaciones transmite dgitos binarios, 0 o 1, en donde cada dgito se transmite 10 veces
sucesivas. Durante cada transmisin, la probabilidad de que ese dgito se transmita correctamente es de 0.99. En otras
palabras, se tiene una probabilidad de 0.01 de que el dgito transmitido se registre con el valor opuesto al final de la
transmisin. Si X0 denota el dgito binario que entra al sistema, X 1 el dgito binario registrado despus de la primera
transmisin, X2 el dgito binario registrado despus de la segunda transmisin, y as sucesivamente, entonces {X n} es una
cadena de Markov.

(1 n 10)

a) Determine la matriz de transicin de un paso.

b) Utilice el programa especfico (o cualquier software que realice operaciones con matrices), para encontrar la matriz de
transicin de 10 pasos, P(10). Use este resultado para identificar la probabilidad de que un dgito que entra a la red se registre
correctamente despus de la ltima transmisin.

c) Suponga que la red se redisea para mejorar la probabilidad de la exactitud de una sola transmisin de 0.99 a 0.999.
Repita el inciso b) para encontrar la nueva probabilidad de que un dgito que entra a la red se registre correctamente
despus de la ltima transmisin.

a) Matriz de transicin de 1 paso P=

0 1

0 0.99 0.01

1 0.01 0.99
b)

P ^10

0 1

0 0.9085 0.09146

1 0.09146 0.9085

La probabilidad de que un digito que entra a la red se registre correctamente despus de la ultima transicin es 0.9085.

c)P=

0 1

0 0.999 0.001

1 0.001 0.999

P^10 =

0 1

0 0.9900 0.009910

1 0.00991 0.9900

Ejercicio N 6:

En el ejercicio 1, hallar las clases comunicantes.

Clase comunicante : Es un conjunto de estados que se comunican TODOS entre si.

C1 ={ 1, 2}

C2={0}

C3= {3}

Ejercicio N 7:
Dadas las siguientes matrices de transicin (de un paso) de una cadena de Markov, determine las clases de las cadenas de
Markov y si son recurrentes o no.

Graficar la cadena en cada caso.

0 0 1/3 2/3 1 0 0 0

1 0 0 0 0 0

a) P= 0 1 0 0 b) P = 0 0

0 1 0 0 0 0

a) Clase comunicante no recurrente : C= { A B C D }

Cadena ergodica (Cadena ergodica o irreductible cuando todos sus estados se comunican . Constituyen una nica clase
comunicante concurrente)

b) Clase comunicante C={B c} [D}

Recurrente {A} {B C}

Transitoria {D}

Ejercicio N 8:
La cervecera ms importante de un pas (con etiqueta A) ha contratado a un analista de Investigacin Operativa para
analizar su posicin en el mercado. Estn preocupados por su mayor competidor (con etiqueta B). El analista piensa que el
cambio de marca se puede modelar como una cadena de Markov con 3 estados: los estados A y B representan a los clientes
que beben cerveza producida por las mencionadas cerveceras y el estado C representa a todas las dems marcas. Los datos
se toman cada mes y el analista construye la siguiente matriz de transicin con datos histricos:

A B C

A 0.7 0.2 0.1

B 0.2 0.75 0.05

C 0.1 0.1 0.8

Cules son los porcentajes de mercado en el estado estable para las dos cerveceras grandes?

Rta:

P^21 =

A B C

A 0.346 0.385 0.269

B 0.346 0.385 0.269

C 0.346 0.385 0.269

Ejercicio N 10: (Anlisis de fallas)

Una mquina de un proceso productivo puede estar en uno de los siguientes estados al final de cada da de operacin:
E0: perfectamente operable

E1: operable con deterioro menor

E2: operable con deterioro mayor

E3: inoperable

Cuando el sistema se encuentra en alguno de los estados E1 o E3 pueden producirse artculos defectuosos durante el da
siguiente. Los costos esperados (debido a la produccin de defectuosos) para cada uno de los estados son:

Estado Costo

E1 $ 1000

E2 $ 3000

Cuando la mquina se encuentra en el estado 3 se la repara llevndola al estado E0. Esta trabajo toma un da para
completarse, a un costo de $4000. El lucro cesante diario es de $ 2000.

Asumiendo las siguientes probabilidades de transicin:

Estado E0 E1 E2 E3

E0 0 7/8 1/16 1/16

E1 0 1/8 1/8

E2 0 0 1/2 1/2

a) Formular el problema como una cadena de Markov, hacer el grafo de transiciones de un paso.
b) Calcular el costo promedio esperado a largo plazo.
c) Calcular el nmero promedio de das de funcionamiento de la mquina.

1-
2 - Calcular el costo promedio esperado a largo plazo.

1- Calcular el nmero promedio de das de funcionamiento de la mquina.

IO
AN

Ni = (I N )^-1 x [ colunma de unos]

Ejercicio N 11: (Brand switching)

Un cliente puede adquirir un televisor de alguna de las siguientes marcas: X, Y o Z. Se asume que estas alternativas cubren
todas las posibilidades de compra. Con respecto al comportamiento de compra, los fabricantes de los televisores disponen
de la siguiente informacin:

El 30 % de los clientes que poseen un televisor X se mantienen leales a la marca en su prxima compra, mientras
que el 40 % adquiere un Y y el 30 % restante un Z.
De los clientes que actualmente poseen un televisor Y, el 40 % compra un X, el 25 % vuelve a adquirir un Y y el resto
uno de la marca Z.
El 20 % de los clientes que poseen un Z compran un X, el 30 % un Y y el resto no cambia de marca.
Se desea saber:

a) Cul es la probabilidad de que el dueo de un X adquiera un Z al cabo de 2 compras?

b) Cul es la probabilidad de que el dueo de un X compre nuevamente un televisor de la misma marca luego de tres
transacciones?
c) Cul ser el porcentaje de participacin de cada marca en el mercado a largo plazo?
d) Cul es el nmero esperado de compras que transcurrirn antes que el poseedor actual de un X compre un Z?

a) Cul es la probabilidad de que el dueo de un X adquiera un Z al cabo de 2 compras?

Calculamos la matriz P^2 , en la que se observan las probabilidades asociadas a l segundo paso para todos los estados
iniciales:

X Y Z

X 0.31 0.31 0.38

Y 0.29 0.3275 0.3825

Z 0.28 0.305 0.415

As la probabilidad de que el actual poseedores de un Y adquiera un Z en la segunda compra es 38.25% .

La probabilidad de que el dueo de un TV marca Z vuelva a adquirir otro de la misma marca en 2 transacciones es 41.5%. , etc.
b) Cul es la probabilidad de que el dueo de un X compre nuevamente un televisor de la misma marca luego de tres
transacciones?

P^3 =

X Y Z

X 0.293 0.3155 0.3915

Y 0.2945 0.3275 0.3928

Z 0.289 0.3128 0.3982

La probabilidad de que el dueo de un X compre nuevamente un X al cabo de tres pasos es de 29.3 % .

c) -Cul ser el porcentaje de participacin de cada marca en el mercado a largo plazo?

Lo calculamos para una potencia P para un nmero elevado de transiciones: ej P^8

X Y Z

X 0.2919 0.3135 0.3946

Y 0.2919 0.3135 0.3946

Z 0.2919 0.3135 0.3946

A largo plazo los porcentajes para las marcas X , Y , Z son 29.19% , 31.35% y 39.46% respectivamente.

a- Cul es el nmero esperado de compras que transcurrirn antes que el poseedor actual de un X compre un Z?

Lo que se hace es modificar la matriz de transicin P convirtiendo al estado Z en un estado absorbente .

X Y Z

X 0.3 0.4 0.3

Y 0.4 0.25 0.35

Z 0 0 1

Calculamos la matris IO- AN

 Z X Y

Z 1 0 0

X 0.3 0.3 0.4

Y 0 .35 0.4 0325

Calculamos la matriz (I - N) ^-1 =

2.0548 1.09594

1.0959 1.9178

Luego
1
P(i-> j ) ^-1 X
1

Obtenemos el numero de pasos promedio que transcurren hasta que el proceso se absorba para cada uno de los estados
absorbentes:

X 3.1507

Y 3.0137

Luego el numero esperado de transacciones que transcurren hasta que el actual posee dor de un TV X compra un TV Z es
3.1507 .
 Estados accesibles y comunicantes:

Un estado i es accesible desde j si es posible pasar del estado i al j luego de un numero n de transiciones.

Dos estados son comunicantes si j es accesible desde i y viceversa.

Clasificacin de estados en Clases Comunicantes y Estados si Retorno

Una clase comunicante es un conjunto de estados que se comunican TODOS entre si . Como caso particular la clase puede
tener un solo estado.

Las Clases Comunicantes se pueden clasificar en Recurrentes y Transitorias .

Clases Recurrentes - Estados Absorbentes:

Una Clase es Recurrente : si una vez que la cadena la ha alcanzado , siempre regresa o permanece en ella.

Un caso especial de clases concurrentes lo constituyen los Estados Absorbentes.

Estados Absorbentes: Aquellos estados que una vez que la cadena los ha alcanzado no puede abandonarlos; es decir ,
son accesibles desde otros estados de la cadena pero no a la inversa. Un estado Absorbente i tiene Pii = 1.

Clase Transitoria : Cuando una vez que la cadena ha salido de ella no vuelve a estar en ninguno de sus estados

Estados Sin Retorno : Son aquellos estados que no se comunican con ningn otro estado , ni siquiera consigo mismos. (La cadena los
visita una sola vez a lo sumo)

Una Cadena de Markov homognea es ergodica o irreductible cuando todos sus estados se comunican entre si . Es decir, constituyen
una nica clase comunicante recurrente.

Cadena Ergodica Regular : Cuando todos los estados pueden comunicarse simultneamente entre si en una cantidad r de pasos; en
estas condiciones P^r es una matriz con todos sus elementos NO NULOS.

Ej: P=

0.5 0.5 0

0.2 0.2 0.6

P^3 =

0.545 0.245 0.210

0.518 0.398 0.084

Como todos los elementos de P^3 son no nulos, la cadena es ergodica Regular.
Cadenas ergodicas regulares en rgimen permanente :

Se define como rgimen permanente o estado estacionario de una cadena de Markov homognea a la situacin que el sistema alcanza
luego de un periodo relativamente largo de tiempo.

En las cadenas regulares se da que a largo plazo entran en una situacin de equilibrio estocstico, es decir, las probabilidades
incondicionales de se hacen estables.

Dado que una cadena ergodica regular es aquella en la que todos sus estados pueden comunicarse simultneamente en una cantidad
r de pasos , puede demostrarse que el lmite para n->infinito de la matriz de transicin de n pasos, P(n) = P^n es una matriz con todos
sus elementos positivos y con todas sus filas iguales.

Vector p.

Cadenas No Ergodicas Absorbentes

Una cadena absorbente es una cadena ergodica separable en :

Uno o varios estados Absorbentes : estados con probabilidad nula de ser abandonados, por lo tanto cuando son alcanzados el
proceso se detiene definitivamente o se detiene para luego comenzar en otro estado.

Uno o varios estados NO Absorbentes : Constituidos por clases comunicantes transitorias o estados sin retorno, desde cada
uno de los cuales se puede acceder a por lo menos un estado absorbente .

(Ejemplos : Procesos de inspeccin)

En las cadenas absorbentes interesa conocer :

a) Numero esperado de veces que el proceso pasa por cada estado NO ABSORBENTE j habiendo partido de un estado NO
ABSORBENTE i .

Se calcula n i/j = ( I N )^-1

b) El numero esperado de transiciones que el proceso tarda en ser absorbido , habiendo partido de un determinado estado
no absorbente i.

Ni = (I N ) ^-1 x la columna de 1

c) La probabilidad de absorcin por cada estado absorbente habiendo partido de un determinado estado no absorbente i.

Si llamamos P(i -> j) a la matriz de nxa cuyos elementos representan la probabilidad de pasar de i a j , dicha probabilidad es la
probabilidad de hacerlo en un paso + la probabilidad de hacerlo en dos pasos+ .. es decir ,

P (i -> j ) = (I N )x A

Se debe operar con la matriz P reagrupada ,

I A
 O N

Poniendo como primeras filas y columnas los estados absorbentes.

Anlisis de sensibilidad

3 productod que requieren Maquinado , Fundicion (De fabrica o subcontratada, para productos 1 y 2 , 3 solo en fabrica.)

PRODUCTO 1 2 3

FUNDICION FABRICA 30 50 40

FUNDICION SUBCONTRATADA 50 60

MAQUINADO 20 10 27

ARMADO 30 20 20

Procesos --- Capacidad

Fundicion 8000

Maquinado 12000

Armado 10000

X1: Prod 1 con fund de fabrica

X2: Prod 1 con fund subcont

X3: Prod 2 con fund de fabrica

X4: Prod con fund subcon+

X5 : Prod 3

Los precios de venta de los productos son: $150, $180 y $ 190 respectivamente.

PRODUCTOS 1 2 3 CAPACIDAD

FUNDICION 6 10 3 8000

MAQUINADO 6 3 8 12000

ARMADO 3 2 2 10000

El producto 1 tiene una cantidad demandada mxima de 400 unidades

Maximizar Z = 70X1 + 50X2 + 100X3 + 90X4 + 13X5 - (150-(30+20+30) = 70)

Las ecuaciones :

6X1+ 10 X3 + 3X5 <= 8000

6X1+ 6x2+3X3 + 3x4 + 8x5 <=1200

3x1+3x2+2x3+2x4+2x5 <= 10000

X1+ x2 <= 400

Entonces:

6X1+ 10 X3 + 3X5 + S6 = 8000

6X1+ 6x2+3X3 + 3x4 + 8x5 + S7 =1200

3x1+3x2+2x3+2x4+2x5 + S8 = 10000

X1+ x2 S9 = 400

Recurso Var. Holgura Estado Valor unitario precio dual (Indica cuanto aumenta la ganancia por cada unidad de rec qe se agrega)

Fundicion S6 =0 Agotado y1= 1 S6 y S7 son 0 pq no son variables basicas.

Maquinado S7 = 0 Agotado y2=30

Armado S8= 2000 Sobrante y3=0

Max Prod 1 S9= 400 Sobrante y4=0

A) se puede mejorar la ganancia aumentado mas min de armado: NO porque el y3 = 0.

B) Que recurso conviene que reciba prioridad para incrementarlo ? : Conviene aumentar el recurso MAQuiNAdo
porque tiene el mayor valor unitario.

C) En cuanto se puede incrementar el recurso maquinado sin cambiar la estruc de la sol optima?

Planteo la ec : 6X1+6X2+3X3 + 3X4 +8X5 + S7 = 1200+D2

Tomo la columna de terminos indep. Y le sumo los elementos respectivos de la columna S7xD2

800 +0D2 >=0

3200+0.33D2 >=0 -> D2>= - 3200/0.33 = - 9696.97

2000 + (-0.67)D2 >= 0 -> D2<= -2000/-0.67 = 2985.07

400+ 0D2 >= 0

(Lo max qe puede aumentar) -9696,97 <=D2 <= 2985 (Lo max qe puede disminuir )

D) Se puede agregar 2000 min de maquinado Cunto se gana? (nueva ganancia ?)

2000x 30 + 360000 donde 360000 es la ganancia actual y y2=30

E) Se puede conseguir 3000x30 + 368000 de ganancia agregando 3000 min de maquinado??

NO porque suma mas de 2985,07 que segn C) es lo mximo

 F) en cuanto habra que aumentar la ganancia unitaria producida por el Prod 1 con fundicion de fabrica para que convenga
fabricarlo y cuanto valdran los valores unitarios en ese caso?

Reemplazo 70 por 70+d1

En la tabla optima restar d1 al chef de la var C1 -> 116 - d1

116 d1 >= 0 -> d1<= 16

Si mantengo la estructura no fabrico X1 porque no me conviene , para que X1 pase a ser basica debe ser d1>= 16 entonces 116 por lo
menos.

Luego Z = 36800 116X1 - 30X2 230 X5 S6 - S7 (S6 y S7 valen 0)

Por cada unidad de producto 1 con fundicion de fabrica que se produzca Z disminuye en $ 116 .

116 es el costo reducido del producto 1 (La perdida seria 116$)

LOS COEFICIENTES Objetivos ptimos de la Variables NO BASICAS se denominan COSTOS REDUCIDOS y representan la tasa neta del
decremento del valor objetivo optimo que se obtiene al incrementar la variable NO BASICA ASOCIADa.

G ) Cuanto se pierde si se fabrican 2kg del producto 5

2 x 230 = 460 es lo qe se pierde. Donde 230 es el costo reducido de la variable X5 y 2 kg