Repblica Bolivariana De Venezuela

Ministerio Del Poder Popular Para La Defensa

Universidad Nacional Experimental Politcnica De La Fuerza Armada Nacional
Ncleo Chuao
Ingeniera De Sistemas
Teora de Decisiones

Programacin Dinmica Determinista

y Probabilstica
Integrantes:

Aranguren, Katherine CI: 19.391.524

Castellano, Leonel CI: 21.414.490
Alfonzo, Mercedes CI: 23.567.002

Caracas, Agosto de 2017

Introduccin

Solucin de problemas en los que se deben tomar decisiones en etapas sucesivas, con el
objetivo final de minimizar el coste total de dichas decisiones.
Las consecuencias de las decisiones pueden no ser completamente predecibles.
Un aspecto fundamental de este tipo de problemas es que al tomar una opcin en una
de las etapas, no tenemos que valorar slo el coste actual de dicha decisin sino los
costes futuros en que incurriremos por causa de ella.
La idea clave en la bsqueda de la opcin de menor coste en una toma de decisiones
dividida en varias etapas es que conocida la solucin ptima global, cualquier solucin
parcial que involucre slo a una parte de las etapas, tambin es una solucin ptima.
 Resea Histrica

Fue desarrollada por Richard Bellman y G B Dantzing. Sus importantes contribuciones sobre esta
tcnica cuantitativa de toma de decisiones se publicaron en 1957 en un libro del primer autor
denominado Dynamic Programming.
Inicialmente se le denomin programacin lineal estocstica o problemas de programacin lineal
con incertidumbre. La PD determina la solucin ptima de un problema de n variables
descomponindola en n etapas, con cada etapa incluyendo un sub-problema de una sola
variable. La principal contribucin es el principio de optimalidad, el cual establece que una
poltica ptima consiste de sub-polticas ptimas, un marco de referencia para descomponer el
problema en etapas. La programacin dinmica es una tcnica que se puede aplicar para
resolver muchos problemas de optimizacin.
La mayor parte de las veces, la programacin dinmica obtiene soluciones con un avance en
reversa, desde el final de un problema hacia el principio con lo que un problema grande y
engorroso se convierte en una serie de problemas ms pequeos y ms tratables. As, se puede
definir como una tcnica matemtica til que resuelve una serie de decisiones secuenciales,
cada una de las cuales afecta las decisiones futuras. Proporciona un procedimiento sistemtico
para determinar la combinacin de decisiones que maximiza la efectividad total.
Definicin

Tcnica matemtica orientada a la solucin de problemas con decisiones secuenciales

en etapas sucesivas donde se debe minimizar el coste total de dichas decisiones. En
cada etapa se valora no slo el coste actual de tomar una decisin sino los costes futuros
que se originan a partir de ella.
El nmero de estados puede ser finito o infinito.
Caractersticas

La PDP Se caracteriza porque el valor asociado a los arcos es un valor probable, y por lo
tanto el valor de las rutas posibles desde el estado inicial hasta el estado final iene un
valor asociado a la probabilidad de ocurrencia de ella. Estando en un estado S
cualquiera en cualquiera de las etapas del problema, los arcos que de ese estado S
tienen una probabilidad de ocurrencia, que puede ser igual para todos o tener valores
diferentes.
Aplicaciones de la PD

La programacin dinmica se adapta bien a problemas de carcter secuencial:

Bsqueda del camino ms corto entre dos puntos.
Planificacin de tareas.
Gestin de recursos escasos.
Gestin de stocks.
Coordinacin hidrotrmica.
Principio de Optimalidad

Dado un estado, la poltica ptima para las siguientes etapas no depende de la poltica
tomada en las etapas anteriores. La decisin de ptima inmediata slo depende del
estado en el que se est, no de cmo se lleg hasta l. Toda la informacin sobre el
pasado se resume en el estado en que se encuentra. Una vez conocida la solucin
ptima global, cualquier solucin parcial que involucre slo una parte de las etapas es
tambin una solucin ptima. Todo subconjunto de una solucin ptima es a su vez una
solucin ptima para un problema parcial.
Relacin recursiva

Define la poltica ptima en la etapa k conocida la poltica ptima en cualquier estado

de la etapa k +1 { } * * 1 1 ( ) min ( ) k k k k k x u k k u f x c f x = + + + k x estado actual en la
etapa k k 1 x + estado al que se llega en la etapa k +1 dependiente del estado inicial k x
y de la decisin k u k u variable de decisin en la etapa k ( ) k k f x valor acumulado de la
funcin objetivo para el estado k x desde la etapa k hasta N k k x u c valor inmediato de
tomar la decisin k u desde el estado k x Coste acumulado desde una etapa k hasta el
final para un estado k x , * ( ) k k f x = Coste inmediato de dicha etapa k k x u c + Coste
acumulado desde una etapa k +1 hasta el final para un estado k 1 x + , * 1 1 ( )
Problemas de PD

El problema original de n variables de decisin se puede dividir en n etapas con una

decisin por tomar en cada etapa
Cada etapa tiene un nmero de estados asociado a ella
La decisin tomada en una etapa conduce a cierto estado en la etapa siguiente
(anterior)
Dado el estado actual, la decisin ptima para cada uno de los estados restantes no
depende de las decisiones o etapas previos
Existe una relacin recursiva que identifica la decisin ptima para la etapa i, dado que
la etapa i-1 (recursin hacia delante) o i+1 (recursin hacia atrs) ha sido resuelta
La etapa final (inicial) debe ser resoluble sin hacer referencia a las siguientes
Ejemplo

A 12
Suponga que se desea seleccionar la
ruta ms corta entre las ciudades O y T. D
7 8 9
La red que se presenta a continuacin
muestra las rutas posibles entre ambas 8
ciudades, las cuales cruzan por las O B T
9
ciudades intermedias A-E.

5 7
6
C E
13
Programacin Dinmica
Determinista vs Estocstica
Las perturbaciones WK que actan sobre
el sistema son perfectamente
predecibles.
Las perturbaciones WK que actan sobre
el sistema se consideran variables
aleatorias.
No se conoce el valor exacto de WK,
pero si su funcin de distribucin.
En este caso la decisin ptima es la que
minimiza el coste esperado.
Programacin Dinmica Probabilstica
(PDP)

Es una tcnica matemticamente til para la toma de decisiones interrelacionadas, se

presenta cuando el estado en la siguiente etapa no est determinado por completo por
el estado y la poltica de decisin de la etapa actual. En su lugar existe una distribucin
de probabilidad para determinar cual ser el siguiente estado. Sin embargo, esta
distribucin de probabilidad si queda bien determinada por el estado y la poltica de
decisin en la etapa actual.
Por consiguiente la diferencia entre la programacin dinmica probabilstica y la
programacin dinmica determinstica (PDD) est en que los estados y los retornos o
retribuciones en cada etapa son probabilsticos. La programacin dinmica
probabilstica se origina en especial en el tratamiento de modelos estocsticos de
inventarios y en los procesos markovianos de decisin. En este apartado se presentar
algunos ejemplos generales, con objeto de hacer resaltar la naturaleza estocstica de la
programacin dinmica.
Aplicaciones de la PDP

Algunas de las aplicaciones de PDP son:

Un juego aleatorio
Problema de inversin
Maximizacin del evento de lograr una meta
Juego Aleatorio

Es una variacin del juego de la ruleta rusa, se hace girar una rueda con marcas de n
nros. consecutivos: 1 a n en su superficie. La probabilidad de que la rueda se detenga en
el nro. i despus de un giro es de Pi. Un jugador para una cantidad por el privilegio de
hacer girar la rueda un Max de m giros. La recompensa para el jugador se repite una
cantidad razonablemente grande de veces, propone una estrategia optima para el
jugador.
Se puede formular el problema modelo como un modelo de PDP donde:
La etapa i corresponde a la i-esima vuelta de la rueda, i=1, 2, , m
En cada etapa hay dos alternativas: se gira la rueda una vez mas o se termina el juego
El estado j del sistema en la etapa i es el nro. que se obtuvo de la ultima vez que se gir la rueda, el cual
est entre 1 y n