Modelos Estocsticos

Javier Parra Pea

Ingeniera de Produccin
Facultad Tecnolgica
Universidad Distrital Francisco Jos de Caldas
Agosto de 2015

Este documento est preparado para ser imprimido a doble cara.

Modelos Estocsticos

Notas de clase para la asignatura

Ingeniera de Produccin
Facultad Tecnolgica
Universidad Distrital Francisco Jos de Caldas
Agosto de 2015

c
Copyright

Resumen
Caminante no hay camino...
Antonio Machado

La incertidumbre est presente en todas las decisiones que se toman en ejercicio de

la gestin de los sistemas productivos, y si bien muchos de los escenarios de la toma
de decisiones pueden asimilarse a escenarios en los cuales se asume la certidumbre,
hay muchas decisiones que se deben tomar teniendo en cuenta la existencia de un
riesgo que debe ser estimado para trabajar con l.
El conocimiento de la probabilidad, con la que se presentan los diferentes estados
de la naturaleza asociados a un sistema, puede tener un impacto considerable en
la toma de decisiones. Los modelos estocsticos son una eleccin de modelizado
que incluye el factor riesgo como determinante de la toma de decisiones. Es til
el empleo de diferentes modelos, el saber que informacin se puede obtener y el
saber cmo obtener y cmo utilizar la informacin.
A lo largo de este documento se presentan algunos de los principales modelos
estocsticos que permiten representar los sistemas de produccin, para la toma de
decisiones.
Estas notas de clase inician con el anlisis de decisiones bajo incertidumbre, en
lo que se conoce como anlisis de decisiones. Al respecto se presentan diferentes
tipos de criterios a tener en cuenta dependiendo de la informacin disponible y
de la propensin o aversin al riesgo. Se finaliza con los modelos de decisiones
que contienen informacin probabilstica a priori, con informacin perfecta y con
informacin experimental.
En segundo lugar se analizan las cadenas de Markov, como forma de representacin
de sistemas con probabilidades estacionarias, al respecto se analiza el comportamiento de los sistemas, las probabilidades de estado estable y los tiempos promedio
v

de primer paso. Posteriormente, se presentan los Procesos de decisin de Marvov

(MDP, del ingls Markov decision process).

vi

ndice general
Resumen

ndice general

vii

ndice de Tablas

ix

ndice de Figuras

xi

1 Anlisis de decisiones
1.1 Clases de modelos de decisin . . . . . . . . . . . . . .
1.1.1 Criterios de decisin . . . . . . . . . . . . . . .
1.1.2 Valor esperado de la informacin perfecta . . .
1.1.3 Valor esperado de la informacin experimental
1.1.4 rboles de decisin . . . . . . . . . . . . . . . .

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

1
1
1
1
1
1

2 Cadenas de Markov
2.1 Proceso Estocstico . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1.1 Cadena de Markov . . . . . . . . . . . . . . . . . . . . . . .
2.1.2 Probabilidades de transicin de n etapas . . . . . . . . . . .
2.1.3 Clasificacin de los estados en una cadena de Markov . . .
2.1.4 Probabilidades de estado estable y tiempos promedio de primer paso . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1.5 Anlisis transitorio . . . . . . . . . . . . . . . . . . . . . . .
2.1.6 Interpretacin de las probabilidades de estado estable . . .
2.1.7 Tiempos promedio de primer paso . . . . . . . . . . . . . .
2.1.8 Cadenas absorbentes . . . . . . . . . . . . . . . . . . . . . .
2.2 Procesos de decisin de Markov . . . . . . . . . . . . . . . . . . . .
2.2.1 Proceso de decisin de Markov . . . . . . . . . . . . . . . .
2.2.2 Poltica ptima . . . . . . . . . . . . . . . . . . . . . . . . .
2.2.3 Mtodos para determinar una poltica ptima . . . . . . . .

3
3
4
5
6
7
8
8
9
9
11
11
12
13

3 Proceso de simulacin
3.1 Anlisis de entrada . . . . . . . . . . . . . . . . . . . . . . . . . . .

17
17
vii

ndice general

3.1.1

viii

Observacion del sistema . . . . . . . . . . . . . . . . . . .

17

4 Planeacin de la produccin
4.1 El modelizado y el enfoque de optimizacin . . . . . . . . . . . . .
4.2 Pautas para construir un modelo . . . . . . . . . . . . . . . . . . .
4.3 Anlisis y programacin de las capacidades productivas . . . . . .
4.3.1 Capacidad Terica . . . . . . . . . . . . . . . . . . . . . . .
4.3.2 Capacidad Instalada . . . . . . . . . . . . . . . . . . . . . .
4.3.3 Capacidad Disponible . . . . . . . . . . . . . . . . . . . . .
4.3.4 Capacidad Necesaria . . . . . . . . . . . . . . . . . . . . . .
4.3.5 Capacidad Utilizada . . . . . . . . . . . . . . . . . . . . . .
4.4 Modelos de optimizacin de produccin con restricciones de capacidad

19
20
21
21
22
22
23
23
23
23

Bibliografa

27

ndice alfabtico

29

ndice de tablas

ix

ndice de figuras

xi

Captulo 1

Anlisis de decisiones
1.1

Clases de modelos de decisin

Bajo Certidumbre: son aquellos modelos bajo los cuales es conocido lo que
va a pasar. Dentro de tales modelos se encuentran los de planeacin de la
produccin en los cuales el comportamiento del sistema es explicable.
Bajo Riesgo: se utilizan cuando no se tiene certeza absoluta de lo que va a
ocurrir (comportamiento del sistema). Por lo general se tienen probabilidades
para la ocurrencia de los diferentes eventos o hechos de la naturaleza.
Bajo incertidumbre: Se refiere al desconocimiento total de lo que va a ocurrir,
tiene lugar una toma de decisiones basada en reglas claramente establecidas.

1.1.1

Criterios de decisin

1.1.2

Valor esperado de la informacin perfecta

1.1.3

Valor esperado de la informacin experimental

1.1.4

rboles de decisin

Captulo 1. Anlisis de decisiones

Captulo 2

Cadenas de Markov
A veces conviene analizar el comportamiento de una variable aleatoria a lo largo
del tiempo, tal estudio recibe el nombre de proceso estocstico. Vamos a analizar
el comportamiento de las cadenas de Markov como uno de los principales procesos
estocsticos.

2.1

Proceso Estocstico

Al analizar una caracterstica de un sistema en puntos discretos en el tiempo,

donde Xt es el valor de la caracterstica (variable aleatoria) en el tiempo t, y Xt
no se conoce con certeza antes de que se llegue al tiempo t. Un proceso estocstico
de tiempo discreto es la descripcin de la relacin entre las variables aleatorias X0 ,
X1 , X2 , . . . .
Ejemplo: La ruina del jugador
Un proceso estocstico de tiempo continuo es un proceso estocstico en el que
el estado del sistema se puede revisar en cualquier momento (no slo en puntos
discretos).
Ejemplo: Sistema de lnea de espera

Captulo 2. Cadenas de Markov

2.1.1

Cadena de Markov

Una cadena de Markov es un proceso estocstico de tiempo discreto que en cualquier tiempo puede estar en un nmero finito de estados 1, 2, . . . , s.
Definicin
Un proceso estocstico de tiempo discreto es una cadena de Markov si, para t =
0, 1, 2, . . . , s y todos los estados:
P (Xt+1 = it+1 | Xt = it , Xt1 = it1 , Xt2 = it2 , . . . , X1 = i1 , X0 = i0 ) = P (Xt+1 = it+1 | Xt = it )
(2.1)
En la ecuacin 2.1 se dice que lo que suceda en el periodo t+1 depende nicamente
del estado en el tiempo t, y no de los estados por los que pas la cadena para llegar
al estado it .
Como hiptesis adicional, se dice que para todos los estados i y j y todo t, se tiene
que P (Xt+1 = j | Xt = i) es independiente de t, por lo cual:
P (Xt+1 = j | Xt = i) = pi,j

(2.2)

donde pi,j es la probabilidad de que el sistema est en estado j en el periodo t + 1,

dado que en el tiempo t estaba en el estado i. Esta probabilidad se conoce como
probabilidad de transicin del estado i al estado j.
La ecuacin 2.2 indica que la ley de probabilidades que relaciona los estados de
un periodo a otro (i y j) no cambian o permanecen estacionarias. Las cadenas de
Markov que cumplen con esta propiedad se conocen como cadenas estacionarias
de Markov.
Adems se tiene el vector q = q1 , q2 , . . . qs o distribucin inicial de probabilidad
de la cadena de Markov, cuyos valores qi representan la probabilidad de que el
sistema est en el estado i en el tiempo 0.
La matriz P de probabilidades de transicin se presenta en la ecuacin 2.3.

P1,1
P2,1

P = .
..

P1,2
P2,2
..
.

Ps,1

Ps,2

. . . P1,s
. . . P2,s

..
..
.
.
. . . Ps,s

(2.3)

2.1 Proceso Estocstico

Teniendo en cuenta que el estado es i en el tiempo t, en el tiempo t + 1 el proceso

debe estar en el tiempo t + 1, implicando para cada i:
X

P (Xt+1 = j | Xt = i) = 1

(2.4)

jS

pi,j = 1

(2.5)

jS

Teniendo en cuenta que los valores de las probabilidades son no negativos y considerando las ecuaciones 2.4 y 2.5, puede afirmarse que para cada estado i las
probabilidades en el rengln correspondiente corresponden a la distribucin de
probabilidad para los diferentes estados del sistema. Dicho de otra forma, la suma
de las probabilidades para el espacio muestral asociado a cada estado es igual a
uno.

2.1.2

Probabilidades de transicin de n etapas

Para una cadena de Markov estacionaria con matriz P de probabilidades de transicin conocidas, puede establecerse la probabilidad de que partiendo del estado i
en el tiempo m se alcance el estado j n transiciones ms tarde. En vista de que la
cadena de Markov es estacionaria, puede decirse:
P (Xm+n = j | Xm = i) = P (Xn = j | X0 = i) = Pi,j (n)

(2.6)

En la ecuacin 2.6, Pi,j (1) = Pi,j . Para determinar Pi,j (2) debe tenerse en cuenta
que si el sistema est en estado i, para que termine en estado j al cabo de dos
periodos se requiere que en un periodo pase al estado k, y en el otro pase del estado
k al estado j. As se tiene:
Pi,j (2) =

(P rob. de ir de i a k) (P rob. de ir de k a j)

(2.7)

kS

Pi,j (2) =

pi,k pk,j

(2.8)

kS

Como se ve en la ecuacin 2.8 el lado derecho corresponde al producto del vector

(rengln) i de la matriz P por la columna j de esa misma matriz. En consecuencia

Captulo 2. Cadenas de Markov

Pi,j (2) es el i, jsimo elemento de la matriz P 2 . Generalizando se puede decir

que:
Pi,j (n) = elemento ij simo de P n

(2.9)

De forma natural, para n = 0, Pi,j (0) = P (X0 = j | X0 = i), se tiene que:


Pi,j =

1 si j = i
0 si j 6= i

(2.10)

Cuando no se conoce el estado de la cadena de Markov en el tiempo cero, sea qi la

probabilidad de que la cadena est en estado i en el tiempo 0. Se puede estimar la
probabilidad de que el sistema est en el estado i en el tiempo n mediante:
La probabilidad de estar en el estado j en el tiempo t es igual a la sumatoria, sobre
el conjunto de estados en S, de la probabilidad de que el estado inicial sea i por la
probabilidad de ir de i a j en n transiciones.
P robabilidad de estar en estado j en t =

qi Pi,j (n) = q(columna j de P n )

iS

(2.11)
donde q = [q1 , q2 , . . . qs ].

2.1.3

Clasificacin de los estados en una cadena de Markov

Trayectoria: Para dos estados i y j, una trayectoria es la secuencia de transiciones que comienza en i y termina en j en el que todas las transiciones tienen
probabilidad mayor de cero (> 0) de ocurrir.
Alcanzabilidad: Un estado j es alcanzable desde i si hay una trayectoria entre
i y j.
Comunicacin: Dos estados i y j se comunican si j es alcanzable desde i e i es
alcanzable desde j.
Conjunto Cerrado: Un conjunto de estados S en una cadena de Markov es
un conjunto cerrado si ningn estado fuera de S es alcanzable desde algn
estado en S.
Estado Absorbente: Un estado i es absorbente si la probabilidad de ir a s
mismo es uno (Pi,i = 1).
Estado transitorio: Un estado i es transitorio al existir un estado j alcanzable
desde i e i no es alcanzable desde j.
6

2.1 Proceso Estocstico

Estado recurrente: Es un estado que no es transitorio.

Estado peridico: Un estado es peridico con periodo k > 1 si k es el nmero
ms pequeo tal que sus trayectorias conducen del estado i de regreso al
estado i tienen una longitud que es mltiplo de k.
Estado aperidico: Es un estado recurrente que no es peridico.
Cadena ergdica: Es una cadena de Markov cuyos estados son recurrentes,
aperidicos y se comunican entre s.

2.1.4

Probabilidades de estado estable y tiempos promedio de

primer paso

El siguiente teorema ayuda a explicar las probabilidades de transicin:

Teorema

Sea P la matriz de transicin de una cadena de Markov ergdica de estado estable,

entoces existe un vector = 1 , 2 , . . . , s , tal que:

1
1

lm P n = .
n
..

2
2
..
.

. . . s
. . . s

..
.
. . . s

(2.12)

Dado que el ij-simo elemento de P n es Pi,j (n), para cualquier estado inicial i, se
tiene:
lm Pi,j (n) = j

(2.13)

para n grande, P n tiende a una matriz con renglones idnticos. Lo que significa
que en el largo plazo la cadena se estabiliza y la probabilidad de llegar a un estado
j es j en el largo plazo (independientemente del estado inicial i.
El vector = [1 , 2, . . . , s ] se conoce como distribucin de estado estable (o de
equilibrio).
Clculo de la distribucin de estado estable Partiendo del teorema anterior, para
n grande y para toda i,
Pi,j (n + 1)
= Pi,j (n)
= j

(2.14)
7

Captulo 2. Cadenas de Markov

Dado que Pi,j (n + 1)= (rengln i de P n )(columna j de P ), se puede escribir:

Pi,j (n + 1) =

Pi,k (n)pk,j

(2.15)

kS

Si n es grande, sustituyendo la ecuacin 2.14 en 2.15, quedando

j =

k pk,j

(2.16)

kS

En forma matricial, la ecuacin 2.16 puede verse como:

= P

(2.17)

El problema de la ecuacin 2.17 tiene infinitas soluciones, pero pueden obtenerse

valores nicos si se considera que para cualquier n y cualquier i:
Pi,1 (n) + Pi,2 (n) + + Pi,s (n) = 1

(2.18)

En el caso en que n tiende a infinito:

1 + 2 + + s = 1

(2.19)

Al sustituir cualquier ecuacin de 2.16 por la ecuacin 2.19, pueden obtenerse

valores nicos de las probabilidades de estado estable.

2.1.5

Anlisis transitorio

El comportamiento previo a alcanzar el estado estable se conoce como comportamiento transitorio, para cuyo clculo se debe trabajar con las ecuaciones para
Pi,j (n).

2.1.6

Interpretacin de las probabilidades de estado estable

Una interpretacin de las probabilidades de estado estable puede deducirse de 2.16,

al restar a ambos lados j pj,j .
j (1 pj,j ) =

X
k6=j

k pk,j

(2.20)

2.1 Proceso Estocstico

El trmino de la izquierda en la ecuacin 2.20 es la probabilidad de que una

transicin particular deje el estado j y el del lado derecho la probabilidad de que
una transicin particular llegue al estado j.

2.1.7

Tiempos promedio de primer paso

Para una cadena ergdica, mi,j el nmero esperado de transiciones antes de llegar
por primera vez al estado j dado que estamos en estado i se conoce como tiempo
promedio de primer paso.
Partiendo del estado i, con probabilidad pi,j se llegar a j en una transicin. Para
k 6= j se pasa a continuacin con pi,k . En este caso llevar un promedio de 1 + mk,j
transiciones ir de i a j, lo que implica que:
mi,j = Pi,j (1) +

pi,k (1 + mk,j )

(2.21)

k6=j

dado que:
pi,j +

k = 1

(2.22)

k6=j

mi,j = 1 +

pi,k mk,j

(2.23)

k6=j

Resolviendo se tiene que:

mi,i =

1
i

(2.24)

y reemplazando en 2.23 se calculan los valores restantes.

2.1.8

Cadenas absorbentes

Las cadenas de Markov, tales que poseen algunos estados absorbentes, se conocen
como Cadenas absorbentes, en ellas de comenzar en un estado transitorio, tarde o
temprano se llegar a un estado absorbente.
Para cualquer cadena absorbente es posible calcular:
1. El nmero de veces que se espera que entre a cada estado transitorio, dado
que inici en el estado transitorio i, esto es el nmero de periodos que se
9

Captulo 2. Cadenas de Markov

espera que pase en un estado transitorio determinado i antes de alcanzar la

absorcin.
2. La probabilidad de terminar en cada uno de los estados absorbentes dado
que se inici en un estado transitorio i.
Para realizar tales clculos, es necesario reescribir la matriz de la forma:


Q | R
P =
0 | I

(2.25)

donde: Q es la matriz de transicin entre estados transitorios, R

donde: Q es la matriz de probabilidades de transicin entre estados transitorios,
R es la matriz de probabilidades de transicin entre estados transitorios y estados
absorbentes, 0 es una matriz cero debido a que la probabilidad de ir de un estado
absorbente i a un estado transitorio j es igual a 0, e I es la matriz identidad
que indica que de un estado absorbente i solo se puede ir a s mismo, o en otras
palabras permanecer en l.
Si se tienen m estados absorbentes, la matriz Q ser de s m s m, la matriz
R ser de s m m, la matriz 0 ser de m s m y la matriz I de m m.
Nmero de periodos esperado en un estado transitorio
T = (I Q)1

(2.26)

De la ecuacin 2.26 se tiene que: al iniciar en el estado transitorio i, el nmero de

periodos que se pasa en un estado transitorio j antes de la absorcin es el ij-simo
elemento de la matriz T.
P A = (I Q)1 R

(2.27)

La ecuacin 2.27 contiene las probabilidades de absorcin, as: el ij-simo trmino

de la matriz P A contiene la probabilidad de ser absorbido en el estado j dado que
se parte de un estado transitorio i.

10

2.2 Procesos de decisin de Markov

2.2

Procesos de decisin de Markov

A menudo es deseable establecer procesos de toma de decisiones y evaluar su

comportamiento en un horizonte de tiempo de largo plazo. Se pretende entonces
maximizar los beneficios o los ingresos esperados en un horizonte de larga duracin, o minimizar los costes esperados. Usualmente este horizonte de planeacin
se considera infinito.
Existen dos formas bsicas de considerar los beneficios o costes:
Descuentos: Las recompensas obtenidas en periodos futuros pueden traerse a
valor presente si se aplica un factor , tal que 01, as un dlar obtenido
en el periodo siguiente representa el da de hoy. Si M es la recompensa
mxima en cada periodo, la recompensa descontada mxima es:
M + M + M 2 + = M ( 0 + 1 + 2 + = M

1
<
1

(2.28)

Promedio: Se tiene en cuenta en este caso que si se obtiene la mejor decisin

en cada periodo, puede calcularse el valor esperado de la recompensa dentro
del horizonte de planeacin:


Recompensa de los periodos : 1, 2, . . . , n
E lm
(2.29)
n
n
En este caso aunque el ingreso puede ser infinito, el valor promedio puede
calcularse.

2.2.1

Proceso de decisin de Markov

Un proceso de decisin de Markov (MDP, del ingls Markov decision process) se

caracteriza por los siguientes elementos:
Espacio de Estado: se tienen los estados i S = {1, 2, . . . , N }, el conjunto S
se conoce como espacio de estado.
Conjunto de decisiones: para cada estado i existe un estado finito de decisiones D(i), que pueden ser tomadas.
Probabilidades de transicin: para cada estado i y decisin d, existe una probabilidad de llegar al estado j, P (j | i, d) que solo depende del estado actual
i y de la decisin d.
Recompensa esperada: Durante un periodo en el cual el estado es i y se escoge
la alternativa (decisin) d D(i), se obtiene una recompensa esperada ri,j .
11

Captulo 2. Cadenas de Markov

2.2.2

Poltica ptima

La poltica es entendida como una regla que se establece para la toma de decisiones,
a manera de criterio. As, la decisin que se toma en un periodo t puede depender
de lo sucedido antes, es decir, la decisin puede depender del estado en los periodos
1, 2, . . . , t, y de las decisiones tomadas en los periodos 1, 2, . . . , t 1.
Se conoce como una poltica estacionaria si siempre que el estado sea i, mediante
la poltica se adopta, independientemente del periodo, la misma decisin (i).
Sea una poltica arbitraria y el conjunto de polticas. Entonces:
Xt : Variable de decisin para el estado del proceso markoviano de decisin al
comienzo del periodo t.
X1 : Estado particular del sistema al comienzo del periodo 1 (estado inicial).
dt : Decisin elegida durante el periodo t.
V (i): Recompensa descontada esperada obtenida durante un nmero infinito de
periodos, dado que al inicio del periodo 1 el estado es i y la poltica estacionaria es .

V(i) = E

t1

rxt ,dt | x1 = i

(2.30)

t=1

donde E t1 rxt ,dt | x1 = i es la recompensa descontada esperada durante el
periodo t, dado que al comienzo del periodo 1 el estado es i y se sigue la poltica
estacionaria .
En problema de optimizacin, es:
En caso de maximizacin: V (i) = maxin V (i)
En caso de minimizacin: V (i) = mnin V (i)
Si en una poltica , V (i) = V (i) para todo i S, entonces es una poltica
ptima. Sin embargo, la existencia de una poltica simple que obtiene de manera
simultnea los N ptimos en el problema de optimizacin no es evidente. Adems
se sabe que si ri,d estn acotadas, existe una poltica ptima.

12

2.2 Procesos de decisin de Markov

2.2.3

Mtodos para determinar una poltica ptima

1. Iteracin de Polticas
2. Programacin lineal
3. Iteracin de valores o aproximaciones sucesivas
Iteracin de Polticas
Una forma de evaluar cualquier poltica estacionaria consiste en determinar el
conjunto de ecuaciones lineales V (i) para todo i S, como sigue:
V (i) = ri,(i) +

p(j | i, (i))V (j) i S

(2.31)

jS

Donde:
V (i): Recompensa descontada esperada para un nmero infinito de periodos.
ri,(i) : Recompensa esperada del periodo actual.
P
jS p(j | i, (i))V(j) : Recompensa descontada esperada al comienzo del periodo dos, obtenida del periodo dos en adelante.
Para evaluar una poltica estacionaria delta se resuelve el sistema de ecuaciones
lineales asociado a ella.
Mtodo de iteracin de la poltica de Howard
la poltica estacionaria ptima para un MDP.

Este mtodo permite obtener

Evaluacin de la poltica: Solucin del sistema de ecuaciones para el clculo

de la recompensa descontada esperada para un nmero infinito de periodos,
asociado a la poltica .
Mejoramiento de la poltica: Procedimiento sistemtico que se aplica para
encontrar la poltica ptima. A partir del clculo de T (i)

T(i) = m
ax ri,(i) +
dD(i)

p(j | i, d)V(j)

(2.32)

jS

Siempre T (i) V (i), dado que se puede elegir d D(i), para todo i S.
13

Captulo 2. Cadenas de Markov

Si T (i) = V (i), para todo i S entonces la poltica es una poltica ptima.

Si T (i) > V (i), entonces se modifica la poltica (i) de modo que la decisin
d D(i) que proporciona el mximo valor de T(i) , creando la nueva poltica
estacionaria 0 para la cual V0 (i) V (i) para todo i S y para por lo menos un
estado i0 , V0 (i0 ) V (i0 ). Se regresa al paso 1 con la poltica 0 , en lugar de .
Programacin lineal
La formulacin del Proceso de decisin de Markov, puede resumirse como sigue:
Para un problema de maximizacin:
min z =

Vj

(2.33)

jS

sujeto a : Vi

p(j | i, d)Vj ri,d

i, d D(i)

(2.34)

jS

Todas las variables son no restringidas en signo.

Para un problema de minimizacin:
max z =

Vj

(2.35)

jS

sujeto a : Vi

p(j | i, d)Vj ri,d

i, d D(i)

(2.36)

jS

Todas las variables son no restringidas en signo.

La solucin ptima para estos modelos de LP tendr Vi = V (i). Adems, si una
restriccin para el estado i y la decisin d es activa (no tiene holgura ni exceso),
entonces la decisin d es ptima en el estado i.

14

2.2 Procesos de decisin de Markov

Iteracin de valores o aproximaciones sucesivas

Se ilustra el procedimiento ms simple para el caso de maximizacin. Sea Vt (i) la
recompensa descontada esperada mxima que se puede obtener tras t periodos, si
el estado al comienzo del periodo actual es i. Entonces:

X
p(j | i, d)Vt1 (j)
Vt (i) = m
ax ri,(i) +

dD(i)

(2.37)

V0 (i) = 0

(2.38)

jS

Al igual que en los mtodos anteriores en la ecuacin 2.37 el valor de Vt (i) se

calcula a partir de la recompensa por el periodo P
actual ri,(i) y de la recompensa
descontada esperada para el periodo 2, que es jS p(j | i, d)Vt1 (j).
Si la decisin dt (i) es la decisin que se elige en el periodo 1 en el estado i para
obtener Vt (i), para un MDP con un espacio de estado finito y cada D(i) tiene un
nmero finito de elementos, el resultado ms bsico de aproximaciones sucesivas
establece que para cada i S.

15

Captulo 3

Proceso de simulacin
3.1
3.1.1

Anlisis de entrada
Observacin del sistema

Identificar el comportamiento del sistema estudiado, determinando sus parmetros,

variables (aleatorias y no aleatorias) y las posibles medidas de desempeo.

3.1.2

Consecucin de datos e informacin

Recolectar toda la informacin posible del sistema haciendo uso de las posibles
fuentes disponibles: conocimiento de expertos, estadsticas, datos hostricos, bases
de datos e informacin de campo.

3.1.3

Identificar y localizar el problema

Determinar los procesos crticos del sistema, pues no tiene sentido invertir tiempo
y dinero en solucionar los aspectos que no significan un verdadero problema.
Es importante que se tenga claridad respecto de la zona (parte del sistema) en la
cual se presenta el problema, el momento en el cual tiene lugar el problema, etc.

17

Captulo 3. Proceso de simulacin

3.1.4

Anlisis de los datos

Pruebas estadsticas no paramtricas. Pruebas de independencia: intravariable e

intervariable, a travs de diagramas de dispersin (nubes de puntos), correlacin
(coeficientes y autocorrelacin), pruebas de corridas.
Pruebas de homogeneidad, entre grupos: Kruskal Wallis, tablas de contingencia,
medias, varianzas, etc.
Luego de identificar grupos independientes y homogneos, se realizan pruebas de
bondad de ajuste para identificar el comportamiento de las variables aleatorias analizadas. entre este tipo de pruebas se destacan las de Chi-cuadrado, KolmogorovSmirnov, Anderson Darling, etc.

3.2
3.2.1

Modelizacin
Construccin de un modelo mental del sistema simulado

Se trata de representar el sistema mentalmente, con ayuda de diagramas y otras

herramientas de apoyo, determinando las relaciones entre las variables y como se
comportan en el funcionamiento del sistema.

3.2.2

Construccin de un modelo computacional

Identificar claramente los elementos del sistema para programarlo en un software

de propsito general o especializado. Tales elementos son: Locaciones, entidades,
variables, recursos, procesos de llegadas, trnsito dentro del sistema, procesos de
salidas, medidas de desempeo.

3.3
3.3.1

Anlisis de salida
Verificacin

Es una revisin de forma del sistema, en la cual se verifica que la representacin

se comporte como el sistema. Es conveniente que el modelo se verifique con los
expertos que conocen el sistema, en cuanto a su lgica de funcionamiento.

18

3.3 Anlisis de salida

3.3.2

Validacin

Con el fin de determinar si el modelo representa de manera fidedigna el comportamiento del sistema, es importante hacer un anlisis estadstico de las medidas de
desempeo del sistema simulado y compararlo con el sistema real. Las validaciones
deben hacerse sobre los grupos homogneos y no limitarse a la simple comparacin de promedios. Se recomienda realizar pruebas de diferencia de medias y de
varianzas.

3.3.3

Anlisis de escenarios

La razn de ser de la simulacin est en esta etapa, pues el objetivo es determinar

el comportamiento del sistema ante los posibles cambios. Qu pasa s ...? es
una pregunta recurrente que debe ser contestada a travs de la experimentacin
en el sistema modelado. La evaluacin de la respuesta a est pregunta debe ser
sustentada en el anlisis estadstico de los resultados.

3.3.4

Toma de decisiones

Una vez se ha evaluado la calidad de las diferentes alternativas, se debe evaluar la

posibilidad de implementar los cambios necesarios al sistema, y llevarlos a cabo.

19

Captulo 4

Planeacin de la produccin
La planeacin de la produccin implica la planeacin del aprovisionamiento de
los recursos necesarios para la produccin, la planeacin de las actividades de
produccin requeridas para transformar las materias primas en productos finales
satisfaciendo la demanda de los consumidores en la forma ms eficiente o econmica
posible (Pochet, 2006).
En ambientes industriales, los problemas a tratar en este campo del conocimiento
tienen que ver con la toma de decisiones respecto del tamao de los lotes a producir
de cada producto, el momento en el cual debe iniciar la produccin, la mquina o
conjunto de mquinas utilizadas para la produccin, o la secuencia de produccin
de los diferentes lotes. El objetivo usualmente es satisfacer la demanda al menor
coste total, y las decisiones segn su naturaleza pueden ser de largo, mediano o
corto plazo.
La planeacin de la cadena de suministros es similar a la planeacin de la produccin, pero incluye las decisiones de adquisicin y de distribucin.
Los problemas de diseo de la Cadena de suministros incluyen decisiones de largo
plazo como la localizacin, la seleccin de proveedores y el diseo de los sistemas
de distribucin.
Los objetivos que se persiguen son entre otros la minimizacin del coste total,
la maximizacin de la utilidad o la maximizacin de la satisfaccin del cliente.
Por lo anterior, los sistemas de planeacin de manufactura (produccin) son cada
vez ms sofisticados y flexibles. La actual tendencia de integracin en la cadena de
suministros implica la integracin de los modelos que incluyan: aprovisionamiento,
produccin, distribucin y ventas; adems, deben ser giles ante los cambios en la
demanda y el mercado.
21

Captulo 4. Planeacin de la produccin

En este contexto los modelos empleados son por lo general de programacin (lineal)
entera mixta (MIP, del ingls Mixed integer programming). Los alistamientos de
la produccin, la asignacin de mquinas, y sus costes asociados implican el uso de
variables enteras o binarias, y por ende aumentan la complejidad de los sistemas
de produccin.

4.1

El modelizado y el enfoque de optimizacin

Como antecedente se tiene el auge de los sistemas de informacin, la mayora

transaccionales para la planeacin de la manufactura. Este tipo de sistemas mantiene actualizada la informacin de compras, produccin e inventarios, entre otros
aspectos.
Sistemas de optimizacin pueden conducir a mejores resultados en trminos generales. La tendencia es a integrar modelos de MIP para tener en cuenta ciertas
particularidades que quedan fuera del alcance de lo transaccional y de lo alcanzado
con modelos de programacin lineal (LP, del ingls linear programming).
El primer objetivo de este captulo es aprender como transformar sistemticamente una descripcin del problema en un modelo matemtico. La descripcin del
problema es por lo general desestructurada y obtenida de forma informal, rpida,
etc.
La modelizacin del problema, como una abstraccin del problema real, debe ser:
correcta: las decisiones de planeacin o las decisiones sugeridas por el modelo deben obedecer al nivel de detalle requerido para la representacin del
sistema en trminos de factibilidad (restricciones) y optimalidad (funcin
objetivo).
estructurada: descrita con objetos estndar (productos, mquinas, recursos,
etc) y bloques constructivos estndar o restricciones genricas (conservacin
del flujo, capacidad, demanda, etc.)
La estructuracin del modelo permitir tanto su escalamiento como la reformulacin en trminos de modelos conocidos.

22

4.2 Pautas para construir un modelo

4.2

Pautas para construir un modelo

La esencia de la modelizacin y el enfoque de optimizacin es distinguir y separar

las fases de modelizado y optimizacin. Construir un modelo correcto antes de
empezar la optimizacin.
El objetivo de la fase de modelizacin es describir una abstraccin (un modelo)
del problema a resolver. Para ello deben identificarse:
Los objetos que vana a ser manipulados (productos, recursos, periodos de tiempo, etc.)
Los datos asociados con los objetos (demanda para productos durante los periodos de tiempo, capacidad de los recursos, etc.)
Las decisiones, relativas a los objetos, que van a ser tomadas para proponer
una solucin al problema (tambin asociadas a las variables de decisin).
Las restricciones que deben satisfacerse para definir una solucin factible o
aceptable del problema, y
La funcin objetivo que se pretende optimizar con el modelo, la cual consiste
en una medida de desempeo para evaluar y comparar soluciones factibles y
escoger la mejor de todas.
El objetivo de la fase de optimizacin es encontrar una solucin ptima al modelo.
La modelizacin es ms que un arte, es una ciencia y por la tanto es posible estructurar mtodos para la construccin de modelos con el grado de detalle apropiado.

4.3

Anlisis y programacin de las capacidades productivas

Las capacidades productivas se analizan en funcin de las mquinas, instalaciones,

equipos y dems medios de trabajo requeridos para la realizacin de la produccin.
Las capacidades de los medios de trabajo se expresan tanto desde el punto de vista
tcnico como econmico, expresndose como:
Capacidad Terica (CT ): Es la capacidad mxima de produccin y que est
prevista con la construccin de mquinas, equipos e instalaciones.
Capacidad Instalada (CI): Es la capacidad mxima prevista menos las necesidades propias de mantenimiento en condiciones normales de funcionamiento.
23

Captulo 4. Planeacin de la produccin

Capacidad Disponible (CD): Es la capacidad con la que se cuenta realmente,

depende de las polticas de operacin de la planta de produccin y de las
prdidas de capacidad que tienen lugar por el tiempo destinado al mantenimiento, a actividades organizacionales, el ausentismo y los factores externos
o causados por la naturaleza.
Capacidad Necesaria (CN ): Es el tiempo requerido en los centros de produccin para que esta se lleve a cabo.
Capacidad Utilizada (CU ): Es la capacidad realmente utilizada, se trata de
una capacidad que se calcula a posteriori cuyo propsito obedece a la funcin
de control de la produccin.
Las capacidades pueden expresarse en unidades de tiempo, unidades energticas
o unidades monetarias. Adems pueden incluir un sitio de trabajo, un taller, un
departamento o una empresa en su conjunto.
Las unidades en que se expresa la capacidad de un sitio de trabajo depende de
las caractersticas de la produccin, siendo el tiempo la ms comn de todas. Las
unidades energticas se refieren a equipos desde el punto de vista de utilizacin de
su potencial energtico.

4.3.1

Capacidad Terica
CT =

ni d h

[horas/ao]

(4.1)

iI

Donde: I es el conjunto de tipos de centros de trabajo, ni es el nmero de centros

de trabajo tipo i, d es el nmero de das al ao (365 o 366), y h el nmero de horas
del da (24).

4.3.2

Capacidad Instalada
CI = CT G1 =

ni d h

iI

G1 =

ni gi

[horas/ao]

(4.2)

iI

ni gi

[horas/ao]

(4.3)

iI

Donde: gi son las prdidas estndar por mantenimiento preventivo de un tipo de

centro de trabajo i y Gi son las prdidas totales por mantenimiento de todos los
sitios de trabajo.
24

4.4 Modelos de optimizacin de produccin con restricciones de capacidad

4.3.3

Capacidad Disponible
CD =

ni dh ht nt (G1 + G2 + G3 + G4 )

[horas/ao]

(4.4)

iI

Donde: dh es el nmero de das hbiles por ao, ht la cantidad de horas por turno,
nt la cantidad de turnos trabajados por da, G2 son las prdidas por inasistencia
de los trabajadores, vacaciones, incapacidad, permisos, etc., G3 son las prdidas
por factores organizacionales y G4 las prdidas por factores externos naturales,
tcnicos, econmicos, etc.

4.3.4

Capacidad Necesaria
CN =

XX

Xj tei,j

[horas/ao]

(4.5)

iI jJ

Donde: Xj es la cantidad de productos a fabricar en el plan ptimo de produccin,

y tei,j es el tiempo estndar en el sitio i por unidad producida de j.

4.3.5

Capacidad Utilizada
CU =

XX

Xj tri,j

[horas/ao]

(4.6)

iI jJ

Donde: Xj es la cantidad producida, y tri,j es el tiempo real de produccin en

el sitio i por unidad producida de j. Se trata de una capacidad que se calcula a
posteriori con el objeto de realizar actividades de control.

4.4

Modelos de optimizacin de produccin con

restricciones de capacidad

Conjuntos:
I: centros de procesamiento,
J: productos
Parmetros:
Pj : precio de venta del producto j,
25

Captulo 4. Planeacin de la produccin

CVj : coste variable de produccin por unidad de producto j

CAj : coste de alistamiento (setup) de un lote de produccin de producto j
tei,j : tiempo estndar de procesamiento de una unidad de producto j en la estacin de produccin i.
tai,j : tiempo de alistamiento de produccin de un lote de producto j en la estacin
i.
Cdi : capacidad disponible del centro de trabajo i
Dminj : demanda mnima del producto j.
Dmaxj : demanda mxima del producto j.
Variables de decisin:
Xj : cantidad de producto j a producir,
Yj : variable binaria igual a uno si se produce un lote de producto j
Posibles funciones objetivo:
M ax IngT ot =

Pj Xj

(4.7)

CVj Xj + CAj Yj

(4.8)

Pj Xj (CVj Xj + CAj Yj )

(4.9)

jJ

M in CostT ot =

X
jJ

M in U tilT ot =

X
jJ

M ax V olP rod =

Xj

(4.10)

jJ

M ax U tilizCap =

XX

tej Xj +

iI jJ

XX

taj Yj

(4.11)

iI jJ

Sujeto a las siguientes restricciones:

X
jJ

26

tej Xj +

X
jJ

taj Yj Cdi

i I

(4.12)

4.4 Modelos de optimizacin de produccin con restricciones de capacidad

Dminj Xj Dmaxj
X

j J

Pj Xj (CVj Xj + CAj Yj ) 0

(4.13)

(4.14)

jJ

M (Yj ) Xj

j J

Xj 0 j J

Yj {0, 1}

j J

(4.15)

(4.16)

(4.17)

27

Bibliografa

29

Qu te parece desto, Sancho? Dijo Don Quijote

Bien podrn los encantadores quitarme la ventura,
pero el esfuerzo y el nimo, ser imposible.

Segunda parte del Ingenioso Caballero

Don Quijote de la Mancha

4.4 Modelos de optimizacin de produccin con restricciones de capacidad

Miguel de Cervantes

Buena est dijo Sancho ; frmela vuestra merced.

No es menester firmarla dijo Don Quijote,
sino solamente poner mi rbrica.

Primera parte del Ingenioso Caballero

Don Quijote de la Mancha
Miguel de Cervantes

33