Metodos Algortmicos

HacesProximalLagrangiano Aumentado
para Problemas de Optimizaci on Matem atica
Eladio OCA

NA / IMCA, UNI
Abstract
El objetivo de este minicurso es difundir los fundamentos teoricos
de tres importantes metodos de optimizacion y sus interacciones: el
metodo de haces (en ingles, bundle method), el metodo proximal y el
metodo del lagrangiano aumentado.
Un problema de optimizacion con restricciones clasicas es de la
forma
min
x
[ f(x) : g(x) 0, h(x) = 0 ], (P)
con f : R
n
R, g : R
n
R
p
y h : R
n
R
q
.
El metodo del lagrangiano fue inicialmente introducido por Arrow
y Uzawa para el problema de minimizacion de una funcion cuadratica
fuertemente convexa sujeta a restricciones de igualdades anes. Este
metodo es un metodo dual, es decir que consiste en la busqueda de
una solucion optimal del problema dual concavo
max
v
[ (v) : v R
q
], (D)
donde
(v) := min
xR
n
[ r
v
(x) = f(x) + v, h(x)].
Dada una iteracion v
k
, la relacion (v
k
) = h(x
k
) se verica para
x
k
solucion optimal del problema de minimizacion asociado a (v
k
).
As h(x
k
) es una direccion de crecimiento para . En este caso no
1
hay necesidad de hacer una busqueda lineal en esta direccion. En
efecto, para > 0 jo convenientemente elejido, la sucesion {v
k+1
=
v
k
+ h(x
k
)} converge a una solucion optimal del problema (D) y
la sucesion {x
k+1
} converge a una solucion optimal del problema (P).
Este es por lo tanto un metodo del gradiente a paso constante aplicado
al problema de maximizacion de una funcion concava diferenciable.
El metodo del lagrangiano aumentado consiste en reemplazar en
el metodo precedente la funcion objetivo f por la funcion penalizada
f
r
con f
r
(x) = f(x) +
1
2r
h(x)
2
, r > 0. Imponiendo una condicion
suciente de optimalidad de segundo orden, este permite considerar
problemas donde la funcion f no es convexa y las funciones h
j
no son
anes. En este caso no convexo, es dicil adaptar el metodo al caso
cuando se tiene restricciones de desigualdades.
El metodo del lagrangiano aumentado muestra todo su poder en el
caso donde la funcion objetivo f y las restricciones de desigualdades g
i
son convexas, y las funciones h
j
son anes. En este caso no es necesario
imponer la diferenciabilidad en estas funciones. El problema consiste
en maximizar sobre R
p
R
q
la funcion concava
(u, v) := min
xR
n
r
uv
(x)
donde r
uv
es la funcion convexa
r
uv
(x) := f(x)+u, g(x)+v, h(x)+
1
2r

(g(x) + ru) +
2
+ h(x)
2

.
Aqu nuevamente es una funcion concava diferenciable, su gradiente
queda determinado explcitamente a partir de la solucion optimal del
problema en x asociado a (u, v). La maximizacion de la funcion se
hace tambien con un metodo a paso constante.
Queda por lo tanto minimizar la funcion convexa r
uv
. Los algorit-
mos de descenso funcionan de manera mas ecaz desde que la funcion
es fuertemente convexa. El metodo proximal es un metodo de reg-
ularizacion que lleva consigo esta fuerte convexidad. El metodo del
subgradiente permite tratar el caso donde r
uv
es no diferenciable.
2