Conceptos bsicos de

optimizacin
Prof. Cesar de Prada
Dpt. Ingeniera de Sistemas
y Automtica
UVA
prada@autom.uva.es
Problemas de Optimizacin
0 ) x ( g
0 ) x ( h
) x ( J min
j
i
x
s
=
Para encontrar una solucin al
problema es importante:
1. Estudiar las propiedades
matemticas de las funciones
que intervienen en el problema
2. Estudiar la estructura
matemtica del problema, los
distintos tipos que se
presentan y las tcnicas de
solucin particulares para
cada uno de ellos
Problema general NPL
Indice
Conceptos Generales
Formulacin
Optimos locales y globales
Factibilidad
Propiedades matemticas
Continuidad
Convexidad
Tipos de problemas de optimizacin
Un problema de optimizacin NLP
n
j
i
x
R x
0 ) x ( g
0 ) x ( h
) x ( J min
e
s
=
x = (x
1
, x
2
, ...., x
n
) vector de variables de
decisin
J(x) funcin de costo
h(x) = 0 i = 1,2,...,l restricciones de
igualdad
g
j
(x) 0 j = 1,2,...,m restricciones de
desigualdad
Si no existen h
i
ni g
j
el problema se denomina sin
restricciones
Equivalencias
0 ) x ( g
0 ) x ( h
) x ( J min
j
i
x
s
=
J(x)
x
x
*

Minimizar / Maximizar
min J(x) = max J(x)
g
j
(x) a puede escribirse como g
j
(x) a 0
g
j
(x) 0 es equivalente a -g
j
(x) > 0
g
j
(x) 0 es equivalente a g
j
(x) + = 0, > 0
h
i
(x) = 0 es equivalente a h
i
(x) - 0, > 0
J(x)
x
x
*

Contornos / Curvas de nivel
J(x)
x
2

x
1

x
2

x
1

x = (x
1
, x
2
)
J
1

J
2

J
3

J
1

Factibilidad
0 ) x ( g
0 ) x ( h
) x ( J min
j
i
x
s
=
Definen la regin de
busqueda o
conjunto factible F
J(x)
x
2

x
1

F
Factibilidad
0 ) x ( g
0 ) x ( h
) x ( J min
j
i
x
s
=
Definen la regin de
busqueda o
conjunto factible F
x
1

x
2

Si no hay ningn punto x que satisfaga
todas las restricciones, o sea si el
conjunto factible F es vaco, el problema
es no-factible y no existe solucin
J
1

J
2

J
3

F
Ejemplos
x
2

x
1
0 x
0 x
4 x 2 x
1 ) 1 x ( 3 ) 2 x ( min
2
1
2 1
2
2
2
1
>
>
s +
+ +
x
1
+ 2x
2
s 4
0 x
0 x
3 x x
4 x 2 x
1 ) 1 x ( 3 ) 2 x ( min
2
1
2
2
2 1
2
2
2
1
1
>
>
s +
= +
+ + +
F
x
2

x
1
F
x
1
+ 2x
2
= 4
x
1
2
+ x
2
3
J
J
Restricciones activas
0 ) x ( g
0 ) x ( h
) x ( J min
j
i
x
s
=
x
2

x
1
0 x
0 x
4 x 2 x
) x 3 x ( min
2
1
2 1
2
2 1
>
>
s +
+
F
Una restriccin g
j
(x) 0 es
activa en un punto x
0
si se
verifica: g
j
(x
0
) = 0
Punto x
0
= (2, 1)
x
1
+ 2x
2
= 4
Restriccin inactiva en x
0

Restriccin activa en x
0

(A menudo se refiere
a la solucin)
Regiones conexas
x
1

x
2

J
1

J
2

J
3

F
x
1

x
2

J
1

J
2

J
3

F
F
Regin factible F conexa Regin factible F no conexa
Optimo local (mnimo local)
Un punto x
*
eF se denomina un mnimo
local del problema de optimizacin si
existe un entorno de x* tal que para
cualquier otro punto x e F del entorno:
J(x
*
) s J(x)
J(x)
x
x
*

J(x)
x
x
1
*

x
2
*

Pueden existir
varios ptimos
locales
Si se verifica
la
desigualdad
estricta el
ptimo es
propio
J(x)
x
x
*

Mnimos
impropios
Optimo global
Un punto x
*
se denomina un mnimo
global del problema de optimizacin si
para cualquier punto x del conjunto
factible F:
J(x
*
) s J(x)
J(x)
x
J(x)
x
Si no existe ningn
valor de x
*
eF tal
que J(x*) s J(x) el
problema es no
acotado y no
existe mnimo
x
*

Optimo
global
Problema no
acotado
Ejemplo
Varios mximos y
mnimos locales
Ejemplos
x
1

J
1

J
2

J
3

F
x
1

J
1

J
2

J
3

F
Optimo global
x
2

x
2

Curvas de
nivel
Mnimo sin restricciones
Optimo local
Continuidad
J(x)
J(x)
x
x
) x ( J ) x ( J lim
existe ) x ( J
existe ) x ( J lim
0
x x
0
x x
0
0
=

Continua en x
0

x
0

x
0

discontinua en x
0

Es importante para muchos
algoritmos trabajar con funciones
continuas y con derivadas
continuas
Derivada no
definida
Continuidad
J(x)
x
Continua pero
con derivada
discontinua en
x
0

x
0

J(x)
x
derivada discontinua debido
a la conversin en funcin
continua mediante
interpolacin lineal de una
funcin originalmente
definida solo en puntos
discretos de x
Mtodos de optimizacin
basados en el clculo de
derivadas pueden producir
oscilaciones y falta de
convergencia en la solucin si
hay discontinuidades
Teorema
J(x)
x
2

x
1

F
Una funcin continua
J(x) tiene un mnimo
global en cualquier
conjunto F cerrado y
acotado
Convexidad
x
1

x
2

La forma de la
regin de
bsqueda es
importante
para los
algoritmos de
optimizacin
J
1

J
2

J
3

F
0 ) x ( g
0 ) x ( h
) x ( J min
j
i
x
s
=
F
F convexo
F no-convexo
Un conjunto F es convexo si
el segmento que une dos
puntos cualquiera del mismo
esta totalmente contenido
en F
F
Conjunto Convexo
F es convexo si y solo si:
F x ) 1 ( x x
] 1 , 0 [ , F x , x
2 1
2 1
e + =
e e
F
La interseccin de dos
conjuntos convexos es convexa
Regin convexa y
cerrada
Funcin convexa
J(x)
x
La funcin J(x) es convexa
en un conjunto convexo F si
no toma valores superiores a
los de una interpolacin
lineal
x
1
x
2

) x ( J ) 1 ( ) x ( J ) x ) 1 ( x ( J
] 1 , 0 [ , F x , x
2 1 2 1
2 1
+ s +
e e
Si se cumple con < es estrictamente convexa
Funcin concava
J(x)
x
La funcin J(x) es cncava
en un conjunto convexo F si
no toma valores inferiores a
los de una interpolacin
lineal
x
1
x
2

) x ( J ) 1 ( ) x ( J ) x ) 1 ( x ( J
] 1 , 0 [ , F x , x
2 1 2 1
2 1
+ > +
e e
Si se cumple con < es estrictamente convexa
Convexidad
J(x)
x
x
1
x
2

J(x)
x
x
1
x
2

Si J(x) es convexa, -J(x) es concava
Una funcin lineal es convexa y concava
J(x)
x
x
1
x
2

Ejemplos de funciones convexas
exp(-x)
0 0.5 1 1.5 2 2.5 3 3.5
-0.5
0
0.5
1
1.5
2
2.5
3
3.5
4
x log(x) x > 0
0 0.5 1 1.5 2 2.5 3 3.5
0
5
10
15
20
25
30
x
a
a >1, x > 0
-1 -0.5 0 0.5 1 1.5 2 2.5 3 3.5
0
0.5
1
1.5
2
2.5
3
-1 -0.5 0 0.5 1 1.5 2 2.5 3 3.5
0
0.5
1
1.5
2
2.5
3
3.5
|x|
-1 -0.5 0 0.5 1 1.5 2 2.5 3 3.5
0
0.5
1
1.5
2
2.5
3
3.5
o
max
(x)
Todas las
normas son
convexas.
La media
geomtrica es
cncava
Convexidad de funciones (una variable)
J(x)
x
0

x
Si H es continua y positiva
semidefinida la funcin J(x) es
convexa en un entorno de x
0

J(x
0
)+J(x
0
)(x-x
0
)
2
0
2
2
0
2
0
2
0
0
0
2
0
2
0
2
0
0
0
dx
) x ( J d
H
... ) x x (
dx
) x ( J d
2
1
)) x x (
dx
) x ( dJ
) x ( J ( ) x ( J
... ) x x (
dx
) x ( J d
2
1
) x x (
dx
) x ( dJ
) x ( J ) x ( J
=
+ = +
+ + + =
Convexidad de funciones
0
0
0
0
0
2
0 0 0 0
2
x
x
2
0 0 0 0
2
x
x
2
0 0 0 0
2
x
J 1 J ( x )
J ( x ) J ( x ) ( x x ) ( x x ) ' ( x x ) . .
x 2 x
J 1 J ( x )
J ( x ) ( J ( x ) ( x x ) ) ( x x ) ' ( x x ) . .
x 2 x
1 J ( x ) 1
( x x ) ' ( x x ) ( x x ) ' H ( x x )
2 x 2
c c
= + + +
c c
c c
+ = +
c c
c
=
c
J(x)
x
0

x
La forma cuadrtica zHz
determina si la funcin J(x) es
convexa en un entorno de x
0

J(x
0
)+J(x
0
)(x-x
0
)
H Hessiano
Formas Cuadrticas / Matrices PD
Una forma cuadrtica zHz es positiva definida (PD) si zHz > 0 z
Para ello la matriz H debe tener todos sus autovalores > 0
Se dice tambin que la matriz H es PD
Una forma cuadrtica zHz es positiva semidefinida (PSD) si zHz 0 z
Para ello la matriz H debe tener todos sus autovalores 0

Una forma cuadrtica zHz es negativa definida (ND) si zHz < 0 z
Para ello la matriz H debe tener todos sus autovalores < 0

Una forma cuadrtica zHz es indefinida si puede tomar valores positivos o
negativos para distintos valores de z
En ese caso la matriz H tiene autovalores positivos y negativos
Regin J(x) s o
Si la funcin J(x) es convexa en un conjunto F convexo,
entonces el conjunto:
{ }
x x F, J ( x ) e s o
es convexo
J
x
1

x
2

o
J(x) s o
Conjunto f(x)=0
En general, el conjunto definido por la
restriccin no-lineal de igualdad f(x) = 0 es no
convexo
Conjunto de puntos
que verifican
f(x
1
,x
2
) = 0
x
1

x
2

Convexidad de funciones lineales
Regiones definidas por desigualdades o igualdades lineales son
convexas. Se denominan politopos.
x
1

x
2

F
Igualmente, las funciones
lineales son convexas (y
concavas)
x
1

x
2

Funciones cuadrticas
2
2
1
J ( x ) a b ' x x ' H x
2
J ( x )
b ' x ' H
x
J ( x )
H
x
= + +
c
= +
c
c
=
c
| |
1
1 2
2
x a b
J ( x ) x x
x c d
( (
=
( (

| |
1
1 2
2
x a b
x x 1
x c d
( (
s
( (

Describe una regin en R
2

Funcin (forma) cuadrtica en R
2

La matriz H define el tipo
de forma cuadrtica
La convexidad es global
Convexidad de regiones cuadrticas
El conjunto xHx 1 es
convexo si la matriz H es
real simtrica positiva
semidefinida
H es positiva semidefinida si Q(x) = xHx 0 x = 0 , autovalores > 0
H es positiva definida si Q(x) = xHx > 0 x = 0 , autovalores > 0
H es negativa semidefinida si Q(x) = xHx 0 x = 0 , autovalores s 0
H es negativa definida si Q(x) = xHx < 0 x = 0 , autovalores < 0
La funcin cuadratica Q(x) es PD si H es PD, etc.
Convexidad de regiones cuadrticas
| | 1
x
x
1 5 . 0
5 . 0 1
x x
2
1
2 1
s
(

Autovalores 1.5, 0.5 PD

-2 -1.5 -1 -0.5 0 0.5 1 1.5
-2
-1.5
-1
-0.5
0
0.5
1
1.5
-2
-1
0
1
2
-2
-1
0
1
2
0
2
4
6
8
10
12
| |
1
1 2 1 2
2
x 1 0 . 5
J ( x , x ) x x
x 0 . 5 1
( (
=
( (

Funcin
| |
1
1 2
2
x 1 0 . 5
x x
x 0 . 5 1
( (
= o
( (

Curvas de
nivel
Convexidad de regiones cuadrticas
| | 1
x
x
2 25 . 0
5 . 0 5
x x
2
1
2 1
s
(

Autovalores 5.02, -2.02

Indefinida
-2 -1.5 -1 -0.5 0 0.5 1 1.5
-2
-1.5
-1
-0.5
0
0.5
1
1.5
-2
-1
0
1
2
-2
-1
0
1
2
-5
0
5
10
15
20
25
3 , 1
x
J
eig
2 1
1 2
x
J
2
x
x
2 1
1 2
)' x , x (
2
1
) x , x ( J
2 x x x x ) x , x ( J
2
2
2
2
2
1
2 1 2 1
2 1
2
2
2
1 2 1
=
(

c
c
(

=
c
c
+
|
|
.
|

\
|
(

=
+ + =
Funcin cuadratica
PD
Funcin cuadratica
indefinida
10 , 6
x
J
eig
2 8
8 2
x
J
2
x
x
2 8
8 2
)' x , x (
2
1
) x , x ( J
2 x x 8 x x ) x , x ( J
2
2
2
2
2
1
2 1 2 1
2 1
2
2
2
1 2 1
=
(

c
c
(

=
c
c
+
|
|
.
|

\
|
(

=
+ + =
Punto de silla
Convexidad
Si J
1
(x) y J
2
(x) son funciones convexas en el conjunto convexo F,
entonces J
1
(x) + J
2
(x) tambin es convexa en F
Si J
1
(x) y J
2
(x) son funciones convexas y acotadas superiormente en el
conjunto convexo F, entonces J(x) = max { J
1
(x), J
2
(x)} tambin es
convexa en F
Si J
1
(x) y J
2
(x) son funciones cncavas y acotadas inferiormente en el
conjunto convexo F, entonces J(x) = min { J
1
(x), J
2
(x)} tambin es
cncava en F
Si J(x) es convexa en el conjunto convexo F, entonces J(Ax+b) es
convexa
Si J(x) es una funcin convexa en el conjunto convexo F, y si V(.) es
una funcin convexa (definida en el rango de J) y no decreciente,
entonces V[J(x)] es tambin convexa en F. O bien J(x) es concava y V
convexa y no creciente.
Convexidad
) x ( sen 3 x 2
2

En el intervalo (0,t] ver la convexidad de:

2
log( 2 x 3sen ( x ) 2) +
2
2 x 3,
m a x
2 x 3s e n ( x )
+

`

)
1
lo g x 2 +
0 0.5 1 1.5 2 2.5 3 3.5
-5
0
5
10
15
20
0 0.5 1 1.5 2 2.5 3 3.5
2
4
6
8
10
12
14
16
18
20
0 0.5 1 1.5 2 2.5 3 3.5
0
0.5
1
1.5
2
2.5
3
3.5
0 0.5 1 1.5 2 2.5 3 3.5
0
5
10
15
x 10
8
2
exp( 2 x 3sen ( x ) 2) +
0 0.5 1 1.5 2 2.5 3 3.5
0
500
1000
1500
2
( 2 ( x 2 ) 4 )
x
+
0 0.5 1 1.5 2 2.5 3 3.5
0
2
4
6
8
10
12
14
16
2
( 2 ( x 2 ) )
x

0 0.5 1 1.5 2 2.5 3 3.5
0.7
0.8
0.9
1
1.1
1.2
1.3
1.4
Caja convexa (Convex hull)
La caja convexa H de F es el
mnimo conjunto convexo que
contiene a F
F
H
Resumen
Para estudiar su convexidad en un punto puede
estudiarse el correspondiente Hessiano
Una funcion con hessiano continuo, definida sobre
un conjunto F convexo (con al menos un punto
interior) es convexa si, y solo si, el hessiano es una
matriz positiva semi-definida en F
Un conjunto definido por las expresiones g
j
(x)s0 y
h
i
(x)=0 es convexo si las g
j
son convexas y las h
i
lineales
Optimizacin en un conjunto convexo
Si J es convexa y el conjunto F
es tambin convexo, un mnimo
local es tambin un mnimo
global
0 ) x ( g
0 ) x ( h
) x ( J min
j
i
x
s
=
Si todas las restricciones de desigualdad son
convexas contribuirn a generar un conjunto
convexo. Las restricciones de igualdad, si no
son lineales, no sern en general convexas
con lo que el problema puede tener varios
mnimos locales.
Tipos de problemas de optimizacin
n
x
R x
) x ( J min
e
Optimizacin sin
restricciones
0 ) x ( h
) x ( J min
i
x
=
Optimizacin con
restricciones de
igualdad
Multiplicadores de
Lagrange
Tipos de problemas de optimizacin
0 x
c Ax
x ' b min
x
>
s
Programacin lineal (LP)
funcin de coste y
restricciones lineales
0 x
c Ax
x ' b Hx ' x min
x
>
s
+
Programacin cuadrtica (QP)
funcin de coste cuadrtica y
restricciones lineales
Tipos de problemas de optimizacin
0 ) x ( g
0 ) x ( h
) x ( J min
j
i
x
s
=
Programacin no lineal (NLP)
funcin de coste y / o
restricciones no-lineales
Z y , R x
0 ) y , x ( g
0 ) y , x ( h
) y , x ( J min
n
j
i
x
e e
s
=
Programacin mixta entera
(MINLP) algunas de las
variables son reales y otras
enteras
Tipos de problemas de optimizacin
0 ) z ( r
0 ) x ( g
) x , z ( f
dt
z d
) z , x ( J min
i
j
x
s
s
=
Optimizacin dinmica
Parte de las restricciones
vienen dadas por ecuaciones
diferenciales
O e x
)} x ( J .... ), x ( J ), x ( J { min
s 2 1
x
Optimizacin multiobjetivo
Hay varias funciones de
costo a minimizar
simultneamente