PRESENTACIN:

El presente informe fue elaborado con la finalidad de ampliar nuestros

conocimientos sobre la Programacin Dinmica y en especial sobre la
Programacin Dinmica Probabilstica, el ltimo viene adjuntado con un
ejercicio simple y sencillo de entender y resolver.

Universidad Andina del Cusco

Programacin Dinmica Probabilstica

INTRODUCCIN:
La Programacin Dinmica es un mtodo de optimizacin de extraordinaria
versatilidad. Si bien fue desarrollada especialmente para la resolucin de
problemas

en

Procesos de

Decisin

en

Mltiples Pasos, diferentes

investigaciones han mostrado que las mismas ideas pueden utilizarse en otro
tipo de problemas de matemtica aplicada, e incluso pueden ser tiles en el
planteo de algunas cuestiones tericas. Habiendo surgido en los inicios de la
poca de las computadoras, la Programacin Dinmica fue, adems,
concebida con un ojo puesto en esta potente herramienta.
La Ecuacin Funcional que se obtiene, para cada problema, a travs del uso
del Principio de Optimalidad de Bellman permite, con mayor o menor esfuerzo
dependiendo del caso, establecer una recurrencia que es, en s misma, un
algoritmo que resuelve el problema en cuestin.
El objetivo de esta monografa es brindar un panorama relativamente amplio de
las aplicaciones de la Programacin Dinmica, de manera que resulte
accesible para cualquier estudiante de Licenciatura, incluso para aquellos que
no estn familiarizados con las reas especficas de dichas aplicaciones.
Persiguiendo este fin, procuramos, en la medida en que el espacio lo permiti,
exponer todos los pasos de cada razonamiento y los elementos tericos
bsicos para su comprensin.
Por ello, primero se desarrollarn conceptos bsicos, caractersticas y
elementos que posee la programacin dinmica. En la segunda parte se detalla
todo sobre la programacin dinmica probabilstica, en conjunto con un
ejemplo.

Universidad Andina del Cusco

Programacin Dinmica Probabilstica

NDICE:
PRESENTACIN:............................................................................................. 2
INTRODUCCIN:............................................................................................. 3
1.

PROGRAMACIN DINMICA:....................................................................5
1.1.

CONCEPTO:....................................................................................... 5

1.2.

DISEO DEL ALGORITMO DE PROGRAMACIN DINMICA:.................5

1.3.

CONDICIONES QUE HA DE CUMPLIR:..................................................6

1.4.

CONTRASTE CON LA PROGRAMACIN LINEAL:.................................6

2.

PRINCIPIO DE OPTIMALIDAD:....................................................................6

3.

CARACTERSTICAS:................................................................................. 7
3.1.

ETAPAS:............................................................................................. 7

3.2.

ESTADOS ASOCIADOS:......................................................................7

3.3.

POLTICA DE DECISIN:.....................................................................7

3.4.

PRINCIPIO DE LA OPTIMALIDAD:........................................................7

3.5.

INICIO DE LA SOLUCIN:....................................................................8

3.6.

RELACIN RECURSIVA:......................................................................8

3.7.

RETROCESO:..................................................................................... 8

4.

ENFOQUES:.............................................................................................. 8

5.

TIPOS DE PROGRAMACIN DINMICA:.....................................................8

6.

PROGRAMACIN DINMICA PROBABILSTICA:.........................................8

6.1.

CONCEPTO:....................................................................................... 8

6.2.

ESTRUCTURA BSICA DEL PDP:........................................................9

6.3.

CARACTERSTICAS DE PROBLEMAS PDP:........................................10

6.4.

EJEMPLOS:...................................................................................... 10

EJEMPLO 1:............................................................................................ 11
EJEMPLO 2:............................................................................................ 15
7.

CONCLUSIONES:.................................................................................... 17

8.

BIBLIOGRAFIA:....................................................................................... 17

Universidad Andina del Cusco

Programacin Dinmica Probabilstica

PROGRAMACIN DINMICA PROBABILSTICA

1. PROGRAMACIN DINMICA:
1.1. CONCEPTO:
Tcnica

de

programacin

matemtica

que

proporciona

un

procedimiento sistmico para determinar la combinacin ptima de una

serie de decisiones interrelacionadas.
La programacin dinmica determina la solucin ptima de un problema
de n variables descomponindola en n etapas, con cada incluyendo un
subproblema de una sola variable. La principal contribucin de la PD es
el principio de optimalidad, el cual establece que una poltica ptima
consiste de subpolticas ptimas, un marco de referencia para
descomponer el problema en etapas.
Se utilizan en situaciones que se necesitan tomar una serie de
decisiones consecutivas. En el rea de inventarios hay algunas
situaciones en donde la poltica de produccin que optimiza el costo de
inventario en un mes dado, entonces minimiza el costo de inventario
para todo el ao.
La programacin dinmica no slo tiene sentido aplicarla por razones
de eficiencia, sino porque adems presenta un mtodo capaz de
resolver de manera eficiente problemas cuya solucin ha sido abordada
por otras tcnicas y ha fracasado.
La solucin de problemas mediante esta tcnica se basa en el llamado
principio de ptimo enunciado por Bellman en 1957 y que afirma: Es
una secuencia de decisiones ptima subsecuencia ha de ser tambin
ptima. Sin embargo, este principio no siempre es aplicable y por tanto
es necesario verificar que se cumple para el problema en cuestin.
1.2. DISEO DEL ALGORITMO DE PROGRAMACIN DINMICA:

Universidad Andina del Cusco

Programacin Dinmica Probabilstica

Planteamiento de la solucin con una sucesin de decisiones.

Definicin recursiva de la solucin.

Clculo del valor de la solucin ptima mediante una tabla en

donde se almacenan soluciones a problemas.

Construccin de la solucin ptima haciendo uso de la

informacin contenida.

1.3. CONDICIONES QUE HA DE CUMPLIR:

La solucin ha de ser alcanzada a travs de una secuencia de

decisiones, una en cada etapa.

Dicha secuencia de decisiones ha de cumplir el principio

1.4. CONTRASTE CON LA PROGRAMACIN LINEAL:

No se cuenta con una formulacin concreta matemtica estndar para
el problema a resolver. Se trata de un enfoque de tipo general para la
solucin de problemas y las ecuaciones especficas que se usan deben
desarrollar para que representen cada situacin individual.
2. PRINCIPIO DE OPTIMALIDAD:
Cuando hablamos de optimizar nos referimos a buscar alguna de las
mejores soluciones de entre muchas alternativas posibles.
Dicho proceso de optimizacin puede ser visto como una secuencia de
decisiones que nos proporcionan la solucin correcta.
Si, dada una subsecuencia de decisiones, siempre se conoce cul es la
decisin que debe tomarse a continuacin para obtener la secuencia

Universidad Andina del Cusco

Programacin Dinmica Probabilstica

ptima, el problema es elemental y se resuelve trivialmente tomando una

decisin detrs de otra, lo que se conoce como estrategia voraz.
En otros casos, aunque no sea posible aplicar la estrategia voraz, se
cumple el principio de optimalidad de Bellman que dicta que dada una
secuencia ptima de decisiones, toda subsecuencia de ella es, a su vez,
ptima.
En este caso sigue siendo posible el ir tomando decisiones elementales, en
la confianza de que la combinacin de ellas seguir siendo ptima, pero
ser entonces necesario explorar muchas secuencias de decisiones para
dar con la correcta, siendo aqu donde interviene la programacin dinmica.
Contemplar un problema como una secuencia de decisiones equivale a
dividirlo en problemas ms pequeos y por lo tanto ms fciles de resolver
como hacemos en Divide y Vencers, tcnica similar a la de programacin
dinmica.
La programacin dinmica se aplica cuando la subdivisin de un problema
conduce a:

Una enorme cantidad de problemas.

Problemas cuyas soluciones parciales se solapan.

Grupos de problemas de muy distinta complejidad.

3. CARACTERSTICAS:
3.1. ETAPAS:
El problema se puede dividir en etapas que requieren una poltica de
decisin en cada una de ellas.
3.2. ESTADOS ASOCIADOS:
Cada etapa tiene cierto nmero de estados asociados con su inicio.
6

Universidad Andina del Cusco

Programacin Dinmica Probabilstica

3.3. POLTICA DE DECISIN:

El efecto de la poltica de decisin en cada etapa es transformar el
estado actual en un estado asociado con el inicio de la siguiente etapa.
3.4. PRINCIPIO DE LA OPTIMALIDAD:
Dado el estado actual, la poltica ptima para las etapas restantes es
independiente de la poltica adoptada en etapas anteriores. La decisin
inmediata ptima depende slo del estado actual.
3.5. INICIO DE LA SOLUCIN:
Se inicia al encontrar una poltica ptima para la ltima etapa.
3.6. RELACIN RECURSIVA:
Identifica la poltica ptima para la etapa n, dada cada poltica ptima
para la etapa n+1.
3.7. RETROCESO:
Cuando se use esta relacin recursiva, el procedimiento de solucin
comienza la final y se mueve hacia atrs etapa por etapa, encontrando
cada vez la poltica ptima para esa etapa hasta que se encuentre la
poltica ptima para la etapa inicial.
4. ENFOQUES:

Top-down: El problema se divide en subproblemas, y estos se

resuelven recordando las soluciones por si fueran necesarias
nuevamente. Es una combinacin de memorizacin y recursin.

Bottom-up: Todos los problemas que puedan ser necesarios se

resuelven de antemano y despus se usan para resolver las
soluciones a problemas mayores. Este enfoque es ligeramente mejor
en consumo de espacio y llamadas a funciones, pero a veces resulta
7

Universidad Andina del Cusco

Programacin Dinmica Probabilstica

poco intuitivo encontrar todos los subproblemas necesarios para

resolver un problema dado.
5. TIPOS DE PROGRAMACIN DINMICA:

Programacin dinmica determinstica

Programacin dinmica probabilstica

6. PROGRAMACIN DINMICA PROBABILSTICA:

6.1. CONCEPTO:
La programacin dinmica probabilstica (PDP) es una tcnica
matemtica til para la toma de decisiones interrelacionadas, se
presenta cuando el estado en la siguiente etapa no est determinado
por completo por el estado y la poltica de decisin de la etapa actual.
En su lugar existe una distribucin de probabilidad para determinar cul
ser el siguiente estado. Sin embargo, esta distribucin de probabilidad
s queda bien determinada por el estado y la poltica de decisin en la
etapa actual.
Por otro lado, cabe resaltar, qu; cuando el estado en la siguiente etapa
est determinado por completo por el estado y la poltica de decisin de
la etapa actual, entonces este problema corresponde a programacin
dinmica determinstica (PDD).
6.2. ESTRUCTURA BSICA DEL PDP:

Universidad Andina del Cusco

Programacin Dinmica Probabilstica

6.3. CARACTERSTICAS DE PROBLEMAS PDP:

El problema se puede dividir en etapas que requieran una

poltica de decisin en cada una de ellas.

Cada etapa tiene cierto nmero de estados asociados con su
inicio.

El efecto de la poltica de decisin en cada etapa es transformar

el estado actual en un estado asociado con el inicio de la
siguiente

etapa

(Quiz

segn

con

una

distribucin

de

probabilidad).

El procedimiento de solucin est diseado para encontrar una

poltica ptima para el problema completo, es decir, una receta
para la poltica de decisin ptima en cada etapa para cada uno

de los estados posibles.

Dado el estado actual, una poltica ptima para las etapas
restantes es independiente de la poltica adoptada en etapas
anteriores. Por lo tanto, la decisin inmediata ptima depende
solo del estado actual y no de cmo se lleg ah. ste es el
9

Universidad Andina del Cusco

Programacin Dinmica Probabilstica

principio de optimalidad para programacin dinmica (Sea PDD

PDP).
El procedimiento de solucin se inicia al encontrar la poltica

ptima para la ltima etapa

Se dispone de una relacin recursiva que identifica la poltica
ptima para la etapa n, dada la poltica ptima para la etapa n+ 1

Cuando se usa esta relacin recursiva, el procedimiento de

solucin comienza al final y se mueve hacia atrs, etapa por
etapa (Encuentra cada vez la poltica ptima para esa etapa)
hasta que encuentra la poltica ptima desde la etapa inicial.

Esta poltica ptima lleva de inmediato a una solucin ptima

para el problema completo, a saber, n para el estado inicial
despus para el estado que resulta, luego para el estado que se
obtiene, y as sucesivamente hasta para el estado resultante.

6.4. EJEMPLOS:
(Ejercicio propuesto 11.4-2 del libro Investigacin de operaciones - Hiller,Frederick S.
Lieberman, Gerald J. )

EJEMPLO 1:
Imagine que tiene $ 5.000 para invertir y que tendr la oportunidad de
hacerlo en cualquiera de dos inversiones (A B) al principio de cada uno
de los prximos aos.
Existe incertidumbre respecto al rendimiento de ambas inversiones. Si
se invierte en A, se puede perder todo el dinero o (con probabilidad ms
alta) obtener$ 10.000 (una ganancia de $ 5.000) al final del ao.
Si se invierte en B, se pueden obtener los mismos $ 5.000 (con
probabilidad ms baja) $ 10.000 al terminar el ao.
Las probabilidades para estos eventos son las siguientes:

10

Universidad Andina del Cusco

Programacin Dinmica Probabilstica

Se le permite hacer (a lo sumo) una inversin al ao y slo puede

invertir $ 5000cada vez. (Cualquier cantidad de dinero acumulada
queda intil)
a) Utilice programacin dinmica para encontrar la poltica de inversin
que maximice la cantidad de dinero esperada que tendr despus de
los tres aos.
b) Utilice programacin dinmica para encontrar la poltica de inversin
que maximice la probabilidad de tener por lo menos $ 10000 despus
de los tres aos.

11

Universidad Andina del Cusco

Programacin Dinmica Probabilstica

Por tanto la poltica ptima es invertir siempre en A, con una fortuna de

espera despus de tres aos de $ 9800.

12

Universidad Andina del Cusco

Programacin Dinmica Probabilstica

13

Universidad Andina del Cusco

Programacin Dinmica Probabilstica

Por lo tanto las polticas ptimas son (Con los nmeros en los arcos

para representar el retorno de la inversin).

Y la mxima probabilidad de tener al menos $ 10000 al final de tres
aos es 0.757.

14

Universidad Andina del Cusco

Programacin Dinmica Probabilstica

EJEMPLO 2:
Una estudiante universitaria cuenta con 7 das para preparar los exmenes
finales de 4 cursos y quiere asignar su tiempo de estudio de la manera ms
eficiente posible. Necesita por lo menos un da para cada curso y quiere
concentrarse solo en un curso cada da por lo que quiere asignar 1, 2, 3 4
das a cada curso. Como hace tiempo tomo un curso de Investigacin de
Operaciones, decide aplicar programacin dinmica para hacer estas
asignaciones que maximicen el total de puntos obtenidos en los 4 cursos.
Estima que las distintas opciones en das de estudio le redituaran puntos de
calificacin segn la siguiente tabla:

Nmero
de das

Puntos de calificacin
estimados
Curso
1
2
3
4
0
0
0
0
0
1
3
5
2
6
2
5
5
4
7
3
6
6
7
9
4
7
9
8
9
Resuelva este problema con Programacin Dinmica.
Etapa 4
S4
1
2
3
4

F4(S)
6
7
9
9

X4
1
2
3
4

Etapa 3
S3/x3
1
2
3
4
5

2+6=8
2+7=9
2+9=11
2+9=11

4+6=10
4+7=11
4+9=13

5+8=13
5+10=15
5+13=18
5+14=19

5+8=13
5+10=15
5+13=18

F3(S3)

X3

7+6=14
7+7=14

8+6=14

8
10
13
14

1
2
3
3,4

F2(S)

X2

9+8=17

13
15
18
19

1
1
1
1

Etapa 2
S2/x2
1
2
3
4
5
6

6+8=14
6+10=16

15

Universidad Andina del Cusco

Programacin Dinmica Probabilstica

Etapa 1
S1/x1
7

1
3+19=22

2
5+18=23

3
6+15=21

4
7+13=20

F1(S)
23

X1
2

SOLUCION:
Curso1
2

Curso2
1

Curso3
3

Curso4
1

16

Universidad Andina del Cusco

Programacin Dinmica Probabilstica

7. CONCLUSIONES:

La programacin dinmica (Sea PDD PDP) es una tcnica muy til

para tomar una sucesin de decisiones interrelacionadas.

Requiere la formulacin de una relacin recursiva apropiada para

cada problema individual. Sin embargo, proporciona grandes ahorros
computacionales en comparacin con la enumeracin exhaustiva
para encontrar la mejor combinacin de decisiones, en especial
cuando se trata de problemas grandes.

Es prctica para aplicarlas en programas como el solver en Excel, de

fcil utilizacin para hallar las rutas ms ptimas en el proceso de
fabricacin, ejecucin, etc.

Sirve como ayuda para la facilidad de obtencin de informacin en el

estudio de mercados.

8. BIBLIOGRAFIA:

http://web.ing.puc.cl/~jabaier/iic2552/progdin.pdf

http://www.konradlorenz.edu.co/images/stories/suma_digital_matema
ticas/Programacion%20Dinamica.PDF

http://www.lcc.uma.es/~av/Libro/CAP5.pdf

http://eprints.uanl.mx/3096/1/1020070586.PDF

https://es.scribd.com/doc/54086068/Programacion-dinamicaprobabilistica

http://www.escuelauniversitaria.cl/apuntes/ProgramacionDinamica.pdf

17