1.

CONCEPTOS FUNDAMENTALES DE LA OPTIMIZACIN

DINMICA

LA OPTIMIZACIN:
La optimizacin es un tema predominante en el anlisis econmico. Por esta
razn, los mtodos de clculo clsicos de encontrar extremos libres y limitados y
las

tcnicas

ms

recientes

de

programacin

matemtica

ocupan

un

lugar importante en el kit de herramienta de uso diario de los economistas. til

como son, estas herramientas slo son aplicables a los problemas de optimizacin
estticas. La solucin buscada en este tipo de problemas por lo general consiste
en " una sola magnitud ptima para cada variable de eleccin, tales como el nivel
ptimo de produccin por semana y el precio ptimo para cobrar por un producto.
No llama a un calendario de accin secuencial ptimo.
LA DINMICA ECONMICA:
Permite el estudio de los hechos que anteceden a un fenmeno econmico, el
fenmeno en s, las repercusiones o consecuencias de dicho fenmeno, as como
su interrelacin.
La dinmica econmica permite el estudio de hechos y fenmenos en forma
cambiante, estudiando aspectos generales de los mismos, as como analizando
concretamente la forma en que se desarrollan los diversos aspectos econmicos

LA OPTIMIZACIN DINMICA
Estudia la obtencin de la solucin ptima de sistemas dinmicos que evolucionan
en el tiempo; a estos sistemas se trata de guiar o controlar de manera ptima a lo
largo de un horizonte temporal dado de acuerdo a un objetivo fijado ya que son
susceptibles de influencia mediante decisiones externas.

La optimizacin dinmica, como su nombre indica, estudia la optimizacin

dinmica de sistemas dinmicos, es decir, la optimizacin de sistemas que
evolucionan en el tiempo, se trata de guiar o controlar el sistema de manera
ptima a lo largo de un horizonte temporal dado, de acuerdo an objetivo
previamente fijado. Veamos algunos ejemplos que puede ayudar a una primera
compresin.
Un problema de optimizacin dinmica plantea la cuestin de cul es la magnitud
ptima de una variable de eleccin en cada perodo de tiempo dentro del perodo
de planificacin (caso de tiempo discreto) o en cada punto de tiempo en un
intervalo de tiempo dado, digamos [0, 21 (caso de tiempo continuo). Incluso es
posible considerar un horizonte de planificacin infinito, de modo que el intervalo
de tiempo correspondiente es [0, co) - literalmente, "de aqu a la eternidad. " La
solucin de un problema dinmico de optimizacin sera por lo tanto tomar la
forma de una trayectoria temporal ptima para cada variable de eleccin,
detallando el mejor valor de la variable actual, tomar fila, y as sucesivamente,
hasta el final del perodo de planificacin. A lo largo de este libro, vamos a utilizar
el asterisco para denotar optimalidad. En particular, la trayectoria temporal ptima
de un (- tiempo continuo) variable y se denota por Y *(t)

2. HISTORIA DE OPTIMIZACIN DINMICA

Se puede considerar que la optimizacin dinmica tiene races en el clculo de
variaciones, la teora clsica de control y la programacin lineal y no lineal
(Bryson 1999)
El clculo de variaciones surgi en el siglo XVIII y recibi en los trabajos de Euler
(1707-1783) y de LaGrange (1736-1813) la forma de una teora matemtica
rigurosa.
Tras algunos trabajos previos Euler pblico en 1744 el libro Mtodo de bsqueda
de lneas curvas con propiedad de mximos o mnimo, o la resolucin del
problema isoperimtrico tomado en su sentido ms amplio, que es el primer libro
en la historia sobre el clculo de variaciones.

En 1755 Lagrange comunico a Euler el mtodo general analtico, creado por l, en

el que introduce la variacin de una funcin y en donde extiende a las variaciones
las reglas del clculo diferencial. Esta idea de variaciones dara el nombre a la
nueva disciplina.
Otras aportaciones importantes al clculo de variaciones se deben a Legendre
(1752-1833), Jacobi (1804-1851), Hamilton (1805-1865), Weierstrass (181518979.Bolza (1857-1942) y Bliss (1876-1951).
El clculo de variaciones se aplic, tras su descubrimiento, sobre todo en fsica,
especialmente en mecnica.
El desarrollo sistemtico de la teora de control se inici en Estados Unidos
alrededor de 1930 en el campo de las ingenieras elctrica y mecnica. Hasta
1940, aproximadamente, los sistemas de control construidos eran sistemas de
regulacin: la velocidad de un motor o de una turbina hidrulica deban ser
mantenidas en un entorno de un valor constante. Los diseos trataban de evitar
inestabilidad.
Durante la segunda guerra mundial aparecieron sistemas de control en los que la
transicin era ms importante que la quietud: Es la clase de los servomecanismos,
sistemas de persecucin por ejemplo: el sistema de control para un arma de fuego
requerida para alcanzar un objetivo mvil, con la ayuda de un radar. Se descubri
que gran parte de la teora necesaria para el diseo de tales sistemas ya haba
sido desarrollado en el campo de la ingeniera de la comunicacin. Aparecer la
llamada terica clsica de control, basada fundamentalmente en el dominio
frecuencia.se comprob que las ecuaciones diferenciales o en diferencias que
describan la dinmica del sistema eran a menudo intratables, pero pasando el
dominio frecuencia a travs de la transformada de Laplace o z- transformada se
producan resultados algebraicos a partir de los cuales se podan inferir
caractersticas del sistema; sin embargo, esta teora presentada serias
limitaciones pues restringa el estudio a sistemas lineales con una sola variable de
entrada y una de salida, e invariantes en el tiempo. Por otra parte, haba que
considerar, en determinados problemas, otros criterios que valorasen la evolucin
del sistema.

Los conceptos de controlabilidad y observabilidad introducidos por Kalma (1960)

as como los mtodos de optimizacin de Belma (1957) y Pontryagin (1962),
fueron el origen de lo que se conoce como teora moderna de control o teora del
control ptimo, basada en la descripcin de un sistema segn el enfoque del
espacio de los estados. Los nuevos avances y sus aplicaciones no slo caan en
el campo de la ingeniera, sino tambin en el de la economa, biologa, medicina,
ciencias sociales. En esos aos tuvieron lugar las aplicaciones ms importantes
del control ptimo al programa espacial americano.
En economa, aparecen en los aos cincuenta y sesenta del siglo xx algunas
aportaciones que utilizan la teora de control, aunque se trata de contribuciones
aisladas. En los aos sesenta se utilizan ya sistemticamente tcnica de control
ptimo en la investigacin de la teora de crecimiento.
A partir de 1970 hay ya gran inters por la teora de control en distintos campos de
la economa, tanto en trabajos tericos como empricos, y desde entonces
proliferan los trabajos sobre el tema, que ha sido el instrumento bsico para
describir el comportamiento de individuos y empresas cuando la actividad
econmica se desarrolla a travs del tiempo.
En economa de la empresa se utilizan estas tcnicas, con muy buenos
resultados, para el estudio de problema como, por ejemplo, control de inventarios,
seleccin

de

inversiones,

mantenimiento

reemplazando

de

mquinas,

planificacin de la produccin, poltica de publicidad, etc. Todo ellos desde la

segunda mitad de los aos sesenta.
En macroeconoma hubo en los aos setentas gran inters por la utilizacin de la
teora de control Kendri 1976 analiza alrededor de noventas aplicaciones.

3. CARACTERSTICAS PRINCIPALES DE LOS PROBLEMAS DE

OPTIMIZACIN DINMICA
Aunque optimizacin dinmica se expresa sobre todo en trminos de una
secuencia de tiempo, tambin es posible contemplar el horizonte de planificacin
como una secuencia de etapas en un proceso econmico. En ese caso, la
optimizacin dinmica puede ser vista como un problema de toma de decisiones
de mltiples etapas. La caracterstica que distingue, sin embargo, permanece el
hecho de que la solucin ptima implicara ms de un valor nico para la variable
de eleccin.

DECISIN MULTIETAPAS
El carcter de mltiples etapas de optimizacin dinmica se puede ilustrar con un
ejemplo simple discreta. Supongamos que una empresa se dedica a la
transformacin de una determinada sustancia a partir de un estado inicial A
(estado de materia prima) en un estado Z terminal (estado de productos
acabados) a travs de un proceso de produccin de cinco etapas. En cada etapa,
la empresa se enfrenta el problema de elegir entre varios subprocesos alternativas
posibles, cada uno que implica un coste especfico. La pregunta es: Cmo debe
la empresa de seleccionar la secuencia de subprocesos a travs de las cinco
etapas con el fin de minimizar el costo total.
En la figura. 1.1, se expone un problema por el trazado de las etapas
horizontalmente y verticalmente los estados. El estado A inicial se muestra por el
punto ms a la izquierda (al comienzo de la etapa 1), el estado del terminal de Z
se muestra por el punto ms a la derecha (al final de la etapa 5). El resto de los
puntos B, C,..., K muestran los diversos estados intermedios en los que la
sustancia puede transformarse durante el proceso. Estos puntos (A, B,, Z) se
denominan vrtices. Para indicar la posibilidad de transformacin del estado A al
estado B, trazamos un arco desde el punto A al punto. El otro arco AC muestra

Que la sustancia tambin se puede transformar en estado C en lugar de estado B.

Cada arco se le asigna un valor especfico - en el presente ejemplo, un costo se
muestra en un crculo en la figura. 1.1. La decisin de la primera etapa es si para
transformar la materia prima en el estado B (a un costo $ 2) o en estado C (a un
costo de $ 4), es decir, si elegir arco AB o de arco de CA. Una vez que se toma la
decisin, surgir otro problema de la eleccin en la etapa 2, y as sucesivamente,
hasta que se alcanza el estado de Z. Nuestro problema es elegir una secuencia
conectada de arcos que van de izquierda a derecha, comenzando en A y que
termina en Z, de tal manera que la suma de los valores de los arcos de
componentes se reduce al mnimo. Tal secuencia de arcos constituir una
trayectoria ptima.
El ejemplo en la figura. 1.1 es lo suficientemente simple para que una solucin se
pueda encontrar mediante la enumeracin de todos los caminos admisibles de la
A a la Z y escoger el que tiene los valores de arco mnimos totales. Para
problemas ms complicados, sin embargo, se necesita un mtodo sistemtico de
ataque. Esto lo discutiremos ms adelante cuando introducimos la programacin
dinmica en la Seccin. 1.4. Por el momento, slo vamos a notar que la solucin
ptima para el presente ejemplo es el ACEHJZ camino, con US $ 14 como el

costo mnimo de produccin. Esta solucin sirve para sealar un hecho muy
importante: Un procedimiento miope de una etapa - en -un-tiempo optimizacin
no lo har en el rendimiento general de la trayectoria ptima. Por ejemplo, un
fabricante de decisin miope habra elegido arco AB sobre el arco de CA en la
primera etapa, debido a que el primero implica slo la mitad del costo de este
ltimo, sin embargo, en el lapso de cinco etapas, la ms costosa de arco de la
primera etapa de CA debe ser seleccionado en su lugar. Es precisamente por esta
razn, por supuesto, que un mtodo que puede tener en cuenta todo el perodo de
planificacin debe ser desarrollado.

LA VERSIN VARIABLE CONTINUA

El ejemplo en la figura. 1.1 se caracteriza por una variable etapa discreta, que
toma slo valores enteros. Adems, se supone que la variable de estado para
tomar valores que pertenece a un pequeo conjunto finito, {A, B,..., Z). Si estas
variables son continuas

Podemos en cambio tener una situacin tal como se muestra en la figura. 1.2,
donde, por ejemplo, nos hemos basado slo cinco posibles caminos de la A a la Z.
Cada camino posible es visto ahora a viajar a travs de un nmero infinito de
etapas en el intervalo [0, TI. Tambin hay un nmero infinito de estados en cada

ruta, siendo cada estado el resultado de una eleccin particular hecho en una
etapa especfica.
Para ser concretos, visualicemos la fig. 1.2 para ser un mapa de un terreno
abierto, con la variable de fase que representa la longitud, y la variable de estado
que representa la latitud. Nuestro trabajo asignado es la de transportar una carga
desde el punto A a Z ubicando un costo mnimo al seleccionar una ruta de viaje
apropiado. El coste asociado con cada posible camino depende, en general, no
slo de la distancia recorrida, sino tambin de la topografa en ese camino. Sin
embargo, en el caso especial donde el terreno es completamente homogneo, de
manera que el coste de transporte por milla es una constante, el problema de
menor costo simplemente se reducir a un problema de ms corta distancia. La
solucin en este caso es un camino recto, bien, porque este camino implica el
menor costo total (tiene el valor de ruta ms baja). La solucin de la lnea recta es,
por supuesto, bien conocido, hasta el punto de que uno por lo general lo acepta
sin exigir para ver una prueba de ello.
Para la mayora de los problemas descritos en lo que sigue, la variable etapa
representar el tiempo; luego las curvas de la fig. 1.2 representar trayectoria en el
tiempo. Como ejemplo concreto, consideremos una empresa con un capital social
inicial igual a A en el tiempo 0, y un capitel stock objetivo predeterminado igual a Z
momento T. Muchos planes alternativos de inversin durante el intervalo de
tiempo [0, TI son capaces de alcanzar el objetivo de capital en el momento T. y
cada plan de inversiones implica un camino capital especfico e implica un
potencial de beneficio especfico para la empresa. En este caso, podemos
interpretar las curvas de la figura. 1.2 como posibles caminos de capital y sus
valores de ruta como los beneficios correspondientes. El problema de la empresa
es identificar el plan de inversin, de ah la capital camino - que produce el
mximo beneficio potencial. La solucin del problema, por supuesto, depender
crucialmente de cmo el beneficio potencial est relacionado y determinado por la
configuracin de la ruta del capital.

De la discusin anterior, debe quedar claro que, independientemente de si las

variables son discretas o continuas, un tipo simple de problema de optimizacin
dinmica contendra los siguientes ingredientes bsicos:
a. Un determinado punto inicial y un punto final determinado;
b. Una serie de trayectorias admisibles desde el punto inicial hasta el punto
terminal;
c. Un conjunto de valores de ruta de acceso que sirven como ndices de
rendimiento (costo, beneficio, etc.) asociados a los diversos caminos; y
d. Un objetivo que se ha especificado para maximizar o minimizar el valor de la
ruta o el ndice de rendimiento mediante la eleccin de la ruta ptima.

4. ENFOQUES
DINMICA

ALTERNATIVOS

PARA

LA

OPTIMIZACIN

Para abordar el problema anteriormente indicado de optimizacin dinmica, hay

tres enfoques principales. Anteriormente hemos mencionado el clculo de
variaciones y programacin dinmica. El restante, la generalizacin moderna de
clculo de variacin, va bajo el nombre de teora de control ptimo. Vamos a dar
una breve resea de cada uno.

CLCULO DE VARIACIONES

El clculo de variaciones data del listn del siglo 17, el clculo de variaciones es
el enfoque clsico del problema. Uno de los primeros problemas que se plantea es
el de la determinacin de la forma de una superficie de revolucin que encontrar la
menor resistencia cuando se mueve a travs de algn medio resistente (una
superficie de revolucin con el rea mnima). Isaac Newton resolvi este problema
y declar sus resultados en su Principia, publicado en 1887. Otros los
matemticos de la poca (por ejemplo, a Juan ya Jacobo Bernoulli) tambin
estudiaron los problemas de carcter similar.

Estos problemas pueden ser representados por la siguiente formulacin general:

Maximizar o minimizar

Sujeto a:

y (0)=A

(dado)

y (T)=Z

(T, Z dado)

Tal problema, con un funcional integral en una sola variable de estado, con puntos
inicial y terminal completamente especificados, y sin limitaciones, se conoce como
el problema fundamental (o problema ms simple) de clculo de variaciones. Con
el fin de hacer este tipo de problemas significativos, que, es necesario que el
funcional integrable (es decir, la integral debe ser convergente). Supondremos se
cumple esta condicin cuando escribimos una integral de la forma general.
Adems, supondremos que todas las funciones que aparecen en el problema son
continuas y continuamente diferenciables. Se necesita esta hiptesis porque la
metodologa bsica que subyace a la de las variaciones se asemeja mucho a la
del clculo diferencial clsico. La principal diferencia es que, en lugar de tratar con
el dx diferencial que cambia el valor de y = f (x), ahora vamos a hacer frente a la "
variacin " de toda una curva y (t) que afecta el valor de la funcional V [y].
Se presenta el problema bsico de clculo de control de variaciones con la
deduccin de las condiciones necesarias y suficientes de optimalidad. El resultado
fundamental es la ecuacin de Euler.
En cualquier problema de clculo de variaciones, a cada funcin admisible se le
asigna un nmero real, lo cual se establece a partir de un funcional.
Un funcional es una aplicacin, cuyo dominio es un conjunto de funciones, y cuyo
rango es un subconjunto de R.

a. Conceptos Previos de Formulacin del Problema de Clculo de

Variaciones:
En el caso que nos ocupa, consideramos funcionales J cuyo dominio es el
conjunto

Veamos algunos ejemplos sencillos de funcionales:

1) A cada funcin, le hacemos corresponder.

Como,

x es una funcin continua por lo que es integrable, y por tanto,

es

un nmero real. Se trata por tanto de un funcional.

2) Para

, sea

. En este caso no se trata de un funcional pues la

derivada de una funcin derivable es en general otra funcin, y no es un nmero

real.
3) Para

sea
(

En este caso es un funcional pues, al ser

derivable, la derivada de en el punto

medio del intervalo en el que est definida, existe y es un nmero real.

b.

Formulacin del Problema de Clculo de Variaciones:

A continuacin, se define el problema de clculo de variaciones para el caso

escalar, con extremos fijos.
Sea la funcin F una funcin de tres variables, de clase C (es decir que posee
todas las derivadas parciales primeras y segundas, y son continuas).
Se considera el siguiente funcional:

En donde es la funcin derivada de

con respecto a

Se trata de encontrar

con derivadas primera y segunda continuas [

aquella funcin
verificando que

, siendo

],

dados, para la que el

funcional alcance el valor mximo (o el valor mnimo).

El problema, por tanto, en el caso de maximizacin es

En donde recordamos que

{ [

]}

Por tanto, para este problema, el conjunto factible (llamado conjunto de funciones
admisibles) es
{

Como es habitual en optimizacin, el considerar solo el mximo (o el mnimo) de la

funcin objetivo, en este caso del funcional objetivo, no supone ninguna prdida
de generalidad, ya que
[

Y, adems, el elemento
c.

que minimiza

es el mismo

]
que maximiza [

].

Condicin necesaria de primer orden. Ecuacin de Euler:

La condicin que vamos a obtener, llamada condicin o ecuacin de Euler, es la

ms importante del clculo de variaciones. Su deduccin es muy sencilla y

fcilmente comprensible, pues se apoya en la programacin matemtica de

funciones diferenciales.
Si

es un mximo local, entonces en

[

Que es la ecuacin de Euler, donde

su primera variable

se verifica la siguiente condicin:

[

es la derivada parcial de

es la derivada parcial de

con respecto a

con respecto a su segunda

variable .

EJERCICIO:

Obtener las funciones que verifiquen las condiciones necesarias de mximo local
del siguiente problema:
[

En este caso, [ ]

Calculemos sus derivadas con respecto a

De donde:

y a :

Como la ecuacin de Euler es

En este caso queda as:

, es decir

Integrando ambos miembros de la igualdad, se obtiene:

Que es el nico extremal.

Al imponer ahora las condiciones inicial y final, se obtiene.

Por lo que el mximo solo puede alcanzarse en la funcin

TEORA DEL CONTROL PTIMO

El estudio continuado de problemas de variaciones ha llevado al desarrollo del
mtodo ms moderno de teora de control ptimo. En la teora de control ptimo,
el problema de optimizacin dinmica es visto como que consta de tres (en lugar
de dos) tipos de variables. Aparte de la variable tiempo t y la variable de estado y
(t), se tiene en cuenta una variable de control u (t). De hecho, es el ltimo tipo de
variable. Que da la teora de control ptimo de su nombre y ocupa el lugar central
en este nuevo enfoque de la optimizacin dinmica. Para centrar la atencin en la
variable de control implica que la variable de estado es relegado a una posicin
secundaria. Esto slo sera aceptable si la decisin sobre una va de control u (t),
una vez dada una condicin inicial de y, determinar de forma inequvoca un
camino y- variable de estado (t) como un subproducto. Por esta razn, un
problema de control ptimo debe contener una ecuacin que relaciona Y para U:

Tal ecuacin, llamada ecuacin de movimiento (o la ecuacin de transicin o

ecuacin de estado), muestra cmo, en cualquier momento del tiempo, dado el
valor de la variable de estado, la eleccin del planificador de que impulsar la
variable de estado y en el tiempo. Una vez que hemos encontrado el camino de
variables de control ptimo u * (t), la ecuacin de movimiento hara posible la
construccin de la relacionadas a la ruta variable de estado ptima 30 (t).
El problema de control ptimo correspondiente al clculo de variaciones problema
(1.8) es la siguiente: maximizar o minimizar

Tenga en cuenta que, en (1.9), no slo el objetivo funcional contienen es como un

argumento, sino que tambin ha cambiado de V [y] para V [ u). Esto refleja el
hecho de que ahora es el instrumento fundamental de optimizacin. Sin embargo,
este problema de control est ntimamente relacionado con el clculo de las
variaciones - problema (1.8). De hecho, mediante la sustitucin de y (t) con u (t) , y
la adopcin de la ecuacin diferencial y (t) U (t) como la ecuacin de movimiento ,
se obtiene inmediatamente (1.9) . El avance ms significativo en la teora de
control ptimo se conoce como el principio del mximo. Este principio se asocia
comnmente con el matemtico ruso LS Pontryagin, aunque un matemtico
estadounidense, Magnus R. Tlestenes, producido de forma independiente un
trabajo comparable en un informe de la Rand Corporation en 1949.2 La
omnipotencia de este principio radica en su capacidad para tratar directamente
con ciertas restricciones en la variable de control. En concreto, permite el estudio
de los problemas en los que los valores admisibles de la variable de control se
estn confinados a otras cerradas, delimitadas convexas fijar bien. Por ejemplo, el
conjunto de t puede ser el intervalo cerrado (0, 13, 0 requiriendo su (t) 5 1 durante
todo el perodo de planificacin. Si la propensin marginal a ahorrar es la variable
de control, por ejemplo, a continuacin, con una restriccin

, puede

muy bien ser apropiado. En suma, el problema abordado por la teora de control
ptimo es (en su forma simple) el mismo que en (1.9), excepto que una restriccin
adicional, u (t) U. para

puede ser aadido a la misma. En este sentido, el

problema de control (1.9) constituye un caso especial (sin restricciones) cuando el

juego U control es toda la recta real.

a. Conocimientos bsicos:
Control ptimo es definido como un control admisible que maximiza el funcional
objetivo.
La teora de control ptimo constituye una generalizacin del clculo de
variaciones. Este mtodo fue desarrollado por el matemtico ruso L.S Pontryagin,
a fines de la dcada de los cincuenta. Este matemtico desarrollo la condicin de

primer orden al problema del control ptimo, la cual se denomina principio

mximo. Diferencia del clculo de variaciones, en el problema de control optimo se
incorpora tanto la variable de control (u) como la variable de estado (y).Adems, las
dos variables se encuentran relacionadas mediante la ecuacin de movimiento g (.).El
objetivo del control ptimo es determinar las trayectorias de las variables de control y
estado que optimicen un funcional objetivo:

Maximizar: [ ]
Sujeto a:

Este problema es muy similar al del clculo de variaciones. El control ptimo se ha

venido aplicando en la formulacin de problemas econmicos desde mediados de
los aos sesenta. Los trabajos pioneros fueron los de Koopmans y Cass, en los
cuales se modela el crecimiento ptimo de una economa a lo largo del tiempo .El
planteamiento de este modelo macroeconmico es simple. Por una parte, el
funcional objetivo es la suma de las utilidades futuras de la sociedad:

Por otro lado, en cada periodo, la economa est sujeta a una restriccin: la
produccin debe destinarse a consumo o a inversin bruta en capital .De esta
manera:

Donde la funcin de produccin

depende del capital (k), representa la

variacin del stock de capital con respecto al tiempo o la inversin neta en capital,
la tasa de depreciacin y

la depreciacin del capital. Esta constituye la

ecuacin de movimiento, y relaciona el consumo (variable de control) con el capital

existente en la economa (variable de estado).

En este tipo de problema de optimizacin dinmica se asume que existe un

dictador benevolente (denominado planificador social), a quien le interesa
maximizar el bienestar de la sociedad y decide las asignaciones de consumo y
capital en la economa.

De este modo, el problema que enfrenta el planificador social es el siguiente:

Maximizar:

sujeto a:

Dado)

A partir del problema (22) se obtiene la senda optima de tres variables: el

consumo, EL CAPITAL (K) y la produccin agregada (

Una revisin detallada de la teora de control optimo se encuentra en el captulo III

.En el desarrollo de la teora y las aplicaciones se considerara el caso de una
variable de control (u) y estado (y).

b. Desarrollo del tema control ptimo:

La teora del control ptimo, mediante la cual pueden desarrollarse problemas de
optimizacin intertemporal ms complejos. El problema bsico de optimizacin
intertemporal ms complejos .El problema bsico de control ptimo a resolver es
el siguiente:

Maximizar:

Sujeto a:
(

Dado)
(

Libre)

Tal como se mencion en el primer captulo, en el problema de control optimo

intervienen bsicamente tres tipos de variables: el tiempo (t), la variable de estado
(y) y la variable de control (u) .Algunos ejemplos econmicos de variables de
control y estado podran ser la emisin monetaria y la inflacin, o el gasto en
publicidad y las ventas de una empresa. En estos casos, la primera variable, la de
control, est sujeta a la decisin del agente que enfrenta el problema de
optimizacin intertemporal, mientras que la segunda variable, la de estado, refleja
el resultado de las decisiones tomadas sobre la variable de control.

La trayectoria de la variable de estado se encuentra determinada a travs de la

ecuacin de movimiento o ecuacin de estado, en la cual se relaciona la variacin
de la variable de estado con respecto al tiempo ( ) con las variables t, y y u a
travs de la funcin g (.).
Una vez seleccionado el valor ptimo de la variable de control en un instante del
tiempo, la funcin g (.) determinar la direccin de crecimiento de la variable de
estado y, de este modo, su trayectoria en el tiempo. De esta manera, cuando el
agente optimizador selecciona la senda optima de la variable de control, afecta
tanto de manera directa el funcional objetivo mediante la variable u, como de
manera indirecta a travs de la variable y, que se encuentra definida por la
ecuacin de movimiento.

Por otra parte, en el problema (1) se considera un valor libre de y (T).Esta

caracterstica se debe a que en la derivacin de la condicin de primer orden del
problema de control optimo, se hace referencia a sendas de control factibles,
similares a las empleadas en la demostracin de la ecuacin de Euler. A travs de
la ecuacin de movimiento, cada senda de control factible posee una
correspondiente trayectoria factible de la variable de estado. En este sentido, si el
problema tuviera un valor terminal

dado, las sendas de control factibles

no serian arbitrarias, sino que estaran predeterminadas para que satisfagan el

valor terminal de la variable de estado .De este modo, un valor terminal libre
permite derivar la condicin de primer orden del problema de control ptimo.
Con respecto a la variable de control, esta se encuentra restringida al conjunto ,
que por lo general es un conjunto compacto y convexo .Esta restriccin abre la
posibilidad de que existan soluciones de esquina en el problema de optimizacin,
a diferencia de los problemas de clculo de variaciones, en los cuales solo se
admiten soluciones interiores. En algunos problemas no se establecen
restricciones a la senda de control (=]
[), por lo que se omite la condicin u
(t)
.
Una de las ventajas que presenta la tcnica de control optimo , es que no requiere
necesariamente la continuidad y diferenciabilidad de las sendas de las variables
de control y de estado en todo el horizonte de tiempo(0 , T).Para el caso de la
senda optima de control , basta con que se sea continua por tramos o
piecewisecontinuous .Este requisito implica que la trayectoria de la variable de
control puede presentar un nmero determinado de puntos con discontinuidades ,
siempre y cuando en dichos puntos no tome un valor infinito.

c. CONDICION DE PRIMER ORDEN: principio del mximo:

As como el clculo de variaciones presenta una similitud con la optimizacin
esttica sin restricciones, el control ptimo vendra a ser equivalente a un
problema de optimizacin esttica sujeta a restricciones. En dicho caso, el
problema puede resolverse mediante el mtodo de los multiplicadores de
Lagrange .A partir de la funcin objetivo, la restriccin y una variable auxiliar ,
conocida como multiplicador de Lagrange, se conforma una nueva funcin,
denominada Lagrangiana .Los valores que resuelven el problema una nueva
funcin, denominada Lagrangiana .Los valores que resuelven el problema se
determinan a partir de la optimizacin de esta funcin.
De igual forma, en el control optimo a partir de la funcin intermedia f (t , y , u) , la
ecuacin de movimiento
y una variable auxiliar (t) , de nominada
variable de coestado , se determina la funcin hamiltoniana del siguiente modo:

Para determinar la senda de las variables de control y estado que resuelven el

problema , a partir de la funcin Hamiltoniana se emplea una condicin de primer

orden , denominada principio de mximo .A continuacin , se derivaran las

condiciones del principio del mximo y se desarrollaran algunas aplicaciones.

d. Principio del mximo:

Las sendas u (t) y (t) y

resuelven el problema (1) si satisfacen las

condiciones del principio del mximo establecidas para la funcin

Hamiltoniana (2)

a)
b)
c)
d)

La primera condicin establece que el Hamiltoniana debe ser maximizado con

respecto a la variable de control, sujeto a la restriccin dada por el conjunto . La
maximizacin del Hamiltoniana puede brindar bsicamente dos tipos de
soluciones: una solucin al interior de conjunto o una solucin en el contorno.
Asumiendo que el conjunto de control es igual a = (

) y H es una funcin

que depende de manera no lineal de u, entonces nos encontraramos en una

situacin como la presentada .En este caso, para maximizar H, en el punto A se
debe cumplir que la primera derivada con respecto a la variable de control sea
igual a cero y que el Hamiltoniano sea cncavo con respecto a u
<0.

Por otra parte, con el mismo conjunto , si H dependera linealmente de

la variable de control, la primera derivada nunca se hara igual a cero.

La segunda condicin constituye la ecuacin de movimiento de la variable de

estado. La tercera condicin representa la ecuacin de movimiento de la variable

de costado. Estas dos ecuaciones, simultneamente, se denominan sistema de

cannico o sistema Hamiltoniano. Finalmente, la cuarta condicin consiste en la
condicin de transversal dad para el problema de control optimo, cuando el valor
terminal de la variable de estado es libre.
Ejemplo:
Para ilustrar el principio de mximo, consideremos primero un ejemplo fuera de la
economa: el de encontrar la trayectoria ms corta desde un punto dado A hasta
una lnea recta dada. En la figura hemos graficado el punto A sobre el eje vertical
en el plano ty, y hemos dibujado la lnea recta como una vertical para t=T. se
muestran tres trayectorias admisibles (del nmero infinito de ellas), cada una con
una longitud diferente. La longitud de cualquier trayectoria es el agregado de
pequeo segmentos de trayectoria, cada una de los cuales puede considerarse
como la hipotenusa (que no se dibuja) de un tringulo formado por pequeos
movimientos dt y dy. Si denotamos la hipotenusa como dh, por el teorema de
Pitgoras tenemos:

La divisin de ambos lados entre

( ) ]

y la extraccion de la raiz cuadrada arrojan

.. (a)

La longitud total de la trayectoria puede encontrarse entonces por integracin de

(a) respecto a t=0 a t=T. si hacemos que y=u sea la variable de control, (a) puede
expresarse como
(b)
La minimizacin de la integral de (b) es equivalente a maximizar al negativo de (b).
as como el problema de la trayectoria ms corta es:
Maximizar

Sujeto a

El Hamiltoniano para el problema es:

PROGRAMACIN DINMICA
Por primera vez por el matemtico estadounidense Richard Bellman, de
programacin dinmica presenta otro enfoque del problema de control se indica en
(1.9). Las ms importantes caractersticas distintivas de este enfoque son dos: En
primer lugar, incorpora el problema de control dado en una familia de problemas
de control, con la consecuencia de que en la resolucin del problema dado, en
realidad estamos resolviendo toda la familia de problemas. En segundo lugar, para
cada miembro de esta familia de problemas, la atencin principal se centra en el
valor ptimo de la funcional, V *, en lugar de en las propiedades de los YS ptimas
estado de ruta de acceso (t) (como en el clculo de variaciones) o la va de control
ptimo u * (t) (como en la teora de control ptimo). De hecho, un valor ptimo
funcin - la asignacin de un valor ptimo para cada miembro de esta familia de
problemas - se utiliza como una caracterizacin de la solucin. Todo esto se
explica mejor con un ejemplo especfico discreta. Haciendo referencia a la figura.
1.6 (adaptado de Fig. 1.1), veamos primero cmo la " incrustacin " de un
problema que se hace. Dado el problema original de encontrar la ruta de menor
coste desde el punto A hasta el punto Z, consideramos que el problema ms
grande de encontrar la ruta de menor coste de cada punto en el conjunto (A, B , C
, ..., Z) para el punto terminal de Z. Hay entonces existe una familia de problemas
de componentes, cada uno de los cuales est asociado con un punto inicial
diferente. Esta es, sin embargo, que no debe confundirse con el problema de la
variable en el punto inicial en el que nuestra tarea consiste en seleccionar el mejor

punto inicial. Aqu, vamos a considerar todos los puntos posibles como punto
inicial legtimo por derecho propio. Es decir, aparte del punto genuino A inicial,
hemos adoptado muchos puntos seudo iniciales (B, C, etc.) El problema
relacionado con el punto de seudo Z inicial es obviamente trivial, ya que no
permite ninguna eleccin real o de control, sino que se est incluyendo en el
problema general en aras de la exhaustividad y la simetra. Pero el componente

Problemas a los otros puntos seudo iniciales no son triviales. Nuestro problema
original ha sido as " incrustado " en una familia de problemas significativos. Dado
que todos los problemas componente tiene un valor nico camino ptimo, es
posible escribir un valor ptimo funcin
V * = V * (i) (i = A, B,..., Z) que dice que podemos determinar una va ptima valor
para cada punto inicial posible. De esto, podemos construir tambin una funcin
poltica ptima. Que nos dir la mejor manera de proceder de cualquier punto
especfico inicial i, con el fin de alcanzar la V * (i) mediante la seleccin adecuada
de una secuencia de arcos que lleva desde el punto i hasta el punto Z, terminal de
el propsito de la funcin de valor ptimo y la funcin de la poltica ptima es fcil

de entender, pero uno todava puede preguntarse por qu tenemos que ir a la

dificultad de encajar el problema, multiplicando as la tarea de solucin. La
respuesta es que el proceso de incorporacin es lo que conduce al desarrollo de
un procedimiento iterativo sistemtico para la solucin del problema original.
Volviendo a la figura. 1.6, imaginemos que nuestro problema inmediato no es ms
que el de determinar los valores ptimos para la etapa 5, asociado con los tres
puntos iniciales I, J y K. La respuesta se ve fcilmente que
V*(J)=1

V*(I)=3

V*(K)=2

Tras haber constatado los valores ptimos de I, J y K, la tarea de encontrar los

valores de costo mnimo V * (G) y V * (H) se hace ms fcil. Volviendo a la etapa 4
y la utilizacin de la informacin ptima - valor obtenido anteriormente en (1.10),
podemos determinar V * (G), as como la GZ camino ptimo (de G a la Z) como
sigue. Si tomamos el camino de GIZ, el valor de ruta resultante ser el valor de GI
arco ms V * (I). Del mismo modo, si tomamos el GJZ camino, el valor de ruta
resultante ser el valor del arco GJ ms V *(J). As, el costo mnimo de la letra G
para sealar Z es:
(1.11)

* V (G) = min (valor de GI de arco + V * (I), valor de GJ arco + V * (J))

= min (2 + 3,8 + 1) = 5 [La trayectoria ptima. GZ es GIZ]

Para indicar que el camino ptimo de G a la Z debe pasar por I, hemos dibujado
una flecha que apunta hacia la I de G, el nmero 5 en la flecha muestra el valor de
la ruta ptima V (G). De la misma manera, nos encontramos con
(1.12) * V (H) =min ( valor del arco HJ+ V * (J), valor de arco de HK + V *}
=min (4 + 1,6 + 2) = 5 [El camino ptimo Hz se HJZ.]
Nota de nuevo la flecha que apunta hacia la J de H y el nmero en l. El conjunto
de todas esas flechas constituye la funcin de la poltica ptima, y el conjunto de
todos los nmeros en las flechas constituye la funcin de valor ptimo. Con el
conocimiento de V * ( G) y V * ( H) , entonces podemos retroceder una etapa ms
para calcular V * ( D) , V * ( e) , y V * ( F) y las rutas ptimas DZ , EZ , y FZ- de
una manera similar. Y, con dos ms de estos pasos, estaremos de vuelta a la

etapa 1, en el que podemos determinar V * (A) y la ruta ptima AZ, es decir,

resolver el problema original dado.
La esencia del procedimiento de solucin iterativa es capturado en principio de
Bellman de optimalidad , que establece , ms o menos , que si cortar el primer
arco de una secuencia ptima de arcos , la secuencia abreviada restante todava
debe ser ptima en su propio derecho - como un ruta ptima desde su punto inicial
hasta el punto terminal. Si EHJZ es el camino ptimo de E a Z, por ejemplo,
entonces HJZ debe ser la ruta ptima de H a la Z. Por el contrario, si HJZ ya es
conocido por ser el camino ptimo de H a Z, entonces un camino ms largo que
pasa ptima a H debe utilizar la secuencia HJZ al final de la cola. Este
razonamiento est detrs de los clculos en (1.11) y (1.12). Pero tenga en cuenta
que con el fin de aplicar el principio de optimalidad y el procedimiento iterativo
para delinear la trayectoria ptima de la A a 2, tenemos que encontrar el valor
ptimo asociado con todos los puntos posibles en la figura. 1.6. Esto explica por
qu tenemos que integrar el problema original. A pesar de que la esencia de la
programacin dinmica es suficientemente clarificado por el ejemplo discreto en la
figura -. 1.6, la versin completa de dinmica programacin incluye el caso de
tiempo continuo. Por desgracia, la solucin de los problemas de tiempo continuo
de programacin dinmica implica el ms tpico matemtico - avanzado de las
ecuaciones diferenciales parciales. Adems, las ecuaciones diferenciales parciales
no suelen dan soluciones analticas.

5. EJEMPLOS DE OPTIMIZACIN DINMICA

a. En Tiempo Continuo
Para solucionar problemas del tipo que veremos en clase, vamos a aplicar un
resultado conocido como el Principio del Mximo. En general, este teorema se
describe de la siguiente forma. Supongamos que tenemos el problema de
maximizar

A estas ltimas condiciones se las denominan condiciones de transversalidad y

a las funciones co-estados. Las condiciones (5) a (8) son sucientes (adems
de necesarias) para una solucin al problema si las funciones f y g son cncavas
en (x, u).
Si el horizonte temporal fuese nito, es decir, si el problema fuese maximizar
respecto a x(t) y u(t) la funcin

b. Tiempo Discreto
Para entender el teorema del mximo, vamos a pensar en el problema pero en
tiempo discreto y con horizonte nito. Queremos elegir x(t+1) = [x1(t+ 1),... ,xn(t+
1)] y u(t)=[u1(t),... ,um(t)] para maximizar