An alisis Geom etrico de Funciones Convexas

Francisco Romero Hinrichsen 2 octubre 2009

En el presente documento, se analizar a geom etricamente las funciones vistas en clases, idealmente representando cada funci on con su respectivo ep grafo y comentando las bondades observables en cada caso, tambi en se realizar an demostraciones a la convexidad de ciertas funciones, haciendo uso de lo observable geom etricamente, aunque existan demostraciones m as simples la idea es hacer uso directo de la geometr a al demostrar. Para poder comprender completamente este documento se requieren conocimientos previos de resultados y deniciones de an alsis convexo, pero de todos modos se har an referencias a estos resultados cuando amerite el caso. Todo el an alisis geom etrico se remitir a como m aximo a I R3 por razones obvias, no es posible observar visualmente geometr as en esp acios de dimensi ones mayores, tambi en en general R=I R {+ }. las funciones estar an denidas en I

1.

Indicatriz de un Conjunto Convexo

Sea X esp acio vectorial normado y C X conjunto convexo, denimos la indicatriz sobre este conjunto como: IC (x) = 0 si x C + si x /C

Esta funci on es simple y se tiene convexidad pues cumple la desigualdad de Jensen de manera trivial. Con esta funci on se desea mostrar uno de los casos m as b asicos en donde el que una funci on tome valores + no complica denic on de convexidad. Considerando X = I R2 y C una circunferencia en el plano XY, se obtienen los gr acos de la gura 1.

Figura 1: De izquierda a derecha, el conjunto convexo C, la Indicatriz del conjunto y su ep grafo.

A modo de comentario, la representaci on de la indicatr z no es correcta, pues no es posible gracar el innito, y aunque sea poco ortodoxo, para todos los casos en que se tengan este tipo de fen omenos, las funciones ser an representadas de la misma manera, pues logra dar una idea de lo que sucede. Claramente se tiene una funci on convexa, pues el ep grafo es convexo. 1

2.

Funci on marginal

R funci on convexa, denimos Sean X e Y esp acios vectoriales normados, y sea F : X Y I la funci on marginal I P :Y I R como: I P (y ) = nf F (x, y )
xX

considerando X = Y = I R y una funci on convexa2 dada por F (x, y ) = log(x + y ) log(y ) +

(x+y )2 400

se obtienen los gr acos de la gura 3, donde la funci on marginal est a dada por la expresi on: I P (y ) = log(y ) + 1 2 log( 200) este resultado se obtiene facilmente al derivar parcialmente la funcion con respecto a x e igualar a cero. En el gr aco se tiene en la esquina superior izquierda la funci on F gracada con la funci on marginal recorriendola, la esquina superior derecha muestra solamente la curva que describe la funci on marginal en I R3 , la esquina inferior izquierda muestra el gr aco de la funci on marginal y el gr aco de la esquina inferior derecha muestra una visi on lateral de la funci on F, identicable como una proyecci on de todos los puntos sobre el plano YZ. La raz on de la convexidad de la funci on marginal est dada porque recorre por debajo un ep grafo convexo, de hecho observando los 2 gr acos inferiores de la gura 3, se observa que el ep grafo de la funcion marginal equivale a la proyecci on del ep grafo de la funci on convexa sobre el plano YZ, y se observa claramente un epgrafo convexo. Demostraci on de la convexidad de la funci on marginal Se demostrar a siguiendo lo dicho en el parrafo anterior, sean y1 , y2 Y, [0, 1], < 0 y I P (y1 ), I P (y2 ) I R el caso en que toman valores + se es an alogo al de la indicatriz de un conjunto convexo y el caso en que tomen valores se analizar a de manera aparte. Sean (y1 , I P (y1 ) + ), (y2 , I P (y2 ) + ) epi{I P } se tiene que: I P (yi ) = nf x F (x, yi ) < I P (yi ) + , i = 1, 2. x1 , x2 X tales que F (xi , yi ) < I P (yi ) + , i = 1, 2. I P (y1 + (1 )y2 ) F (x1 + (1 )x2 , y1 + (1 )y2 )
Por denici on, una funci on es convexa si su ep grafe es convexo y por denici on de ep grafe, los resultados innitos no son considerados, esta denici on no genera problemas con la Desigualdad de Jensen, pues an alogamente esta se mantiene al incluir los valores innitos. 2 Se sabe que es una funci on convexa pues es la suma de 3 fuciones convexas.
1

2 1 2 1 0 -1 -2 -3 -4 -5 -6 30 20 0 -1 -2 -3 -4 -5 -6 30 20 10 0 -10 10 0 -20 -10 -20 -30 -30

2 -log(sqrt(200))-log(x)+0.5 -log(x+y)-log(y)+((x+y)**2)/400 1 2 0 1 -1 0 -1 -2 -2 -3 -3 -4 -5 -4 -6 5 10 15 20 25 30

-5

-6 5 10 15 20 25 30

Figura 2: Gr acos obtenidos, donde la supercie representa el gr aco de la funci on F y la curva representa el gr aco de la funci on marginal.

I P (y1 + (1 )y2 ) F (x1 , y1 ) + (1 )F (x2 , y2 ) I P (y1 + (1 )y2 ) I P (y1 ) + (1 )I P (y2 ) + 2 y haciendo tender epsilon a cero, se obtiene la desigualdad de Jensen, lo que demuestra la convexidad de la funci on. Si I P (y1 ) = y I P (y2 ) = entonces se tiene que n I N I P (yi ) < n xi tal que F (xi , yi ) < n , i = 1, 2 entonces mayorando del mismo modo que en la demostraci on anterior, se tiene que: I P (y1 + (1 )y2 ) F (x1 , y1 ) + (1 )F (x2 , y2 ) I P (y1 + (1 )y2 ) n con lo cual se tiene se cumple la desigualdad de Jensen. Para el caso en que solo un valor es la desigualdad es mayorada por una expresi on de la forma a bn con a y b constantes y b mayor que cero, con lo que tendiendo n al innito, se concluye de igual modo. La funci on marginal es util pues entrega una forma eciente para demostrar la convexidad de funciones denidas como nmos de conjuntos, las siguientes funciones denidas como nmos ser an consideradas como casos particulares de esta funci on, aunque a priori se har an las demostraciones sin aprovecharse de la funci on, pues la idea es tener un enfoque geom etrico a estas.

Figura 3: De izquierda a derecha, el conjunto convexo C, la funci on cota inferior y su ep grafo.

2.1.

Funci on Cota Inferior

Sea X esp acio vectorial normado y C X I R conjunto convexo, se dene la funcion cota inferior f : X R como: f (x) = nf { R|(x, ) C } Considerando X = I R2 y un conjunto C I R3 dado por un elipsoide, se obtienen los gracos expuestos en la gura 2. tambien se observa convexidad de la funci on, la raz on de esto est a dada gracias al la convexidad del conjunto C, pues este dene un ep grafo en el cual para cada par de puntos cercanos al grafo de la funci on y pertenecientes este, la recta que los une pertenece al ep grafo, puesto a que este par de puntos tambien pertenecen al convexo, y se cumple lo enunciado por denici on de conjunto convexo, Lo recien explicado es la descripci on de como se demostrar a la convexidad de esta funcion, demostraci on v alida para cualquier esp acio vectorial. Demostraci on de la convexidad de la funci on cota inferior Para esta destraci on se considerar an solamente los x tales que f (x) < + pues si no se tubiese este caso3 , la demostraci on es trivial y an aloga a la de la indicatriz de un conjunto convexo. Por denici on de la funci on se tiene que x tal que f (x) +, 0 tal que (x, f (x) + ) C sean x1 , x2 X tales que f (x1 ) f (x2 ) + y 1 , 2 04 entonces por convexidad de C, se cumple: (x1 , f (x1 ) + 1 ) + (1 )(x2 , f (x2 ) + 2 ) C (x1 + (1 )x2 , (f (x1 ) + 1 + (1 )(f (x2 ) + 2 )) C y como se tiene que C epi{f } 5 , entonces por denici on de ep grafo se cumple la siguiente desigualdad:
Se pueden tener valores innitos, recordar que nf {} = + Se consideran 2 distintos y que puedan ser iguales a cero porque el conjunto C solo debe cumplir convexidad, y como tal puede ser un plano, lo que obligar a a = 0 o puede que en ciertas partes sea abierto y en otras cerradas lo cual hace que 1 = 2 5 La demostraci on de esta inclusi on se realiza por contradicci on, es directa gracias a la denici on de la funci on
4 3

u*cos(v), u*sin(v), u*(sqrt(1-(sin(v)**2)/4)+cos(v)/2)

5 4

4 3 3 2 2 1 06 4 2 0 -2 -4 -6 -2 -1 0 1 2 3 4 5 6 06 4 2 0 -2 -4 -6 -2 -1 0 1 2 3 4 5 6 1 16 14 12 10 8 6 4 2 0 -10 -8 -6 -4 -2 0 2 4 10 8 6 6 4 2 0 -2 -4 -6 -8 8 10

-10

Figura 4: De izquierda a derecha, la funci on con el conjunto fuera del origen, su ep grafo y la funcion con el conjunto dentro del origen.

f (x1 + (1 )x2 ) (f (x1 ) + 1 ) + (1 )(f (x2 ) + 2 )) que al tomar el l mite cuando 1 , 2 0 se obtiene la desigualdad de Jensen, lo que demuestra la convexidad de la funci on cota inferior. Escrito como funci on marginal se tiene: f (x) = nf F (x, ) = nf { + IC (x, )}
I R I R

en donde IC es la indicatriz sobre el conjunto convexo y se tiene que F (x, ) es convexa pues est denida como la suma de 2 funciones convexas. Esta forma es mucho m as eciente para demostrar la convexidad, pero la idea de este documento es hacer an alisis geom etricos, por ello se realiz o la primera demostraci on. Se observa que la convexidad del conjunto C no es estrictamente necesaria, en este caso particular basta con tener la supercie inferior para obtener la misma funci on.

2.2.

Gauge de Minkowska

Sea X esp acio vectorial normado y C X conjunto convexo, se dene la Gauge de Minkowska como f : X I R tal que: f (x) = nf {x C }
>0

Considerando X = I R y C una circunferencia en el plano XY, se tienen los gr acos de la gura x donde x es la el vector en 4. Para obtener estos gr acos, se debe tener en cuenta que =

donde se est a evaluando el Gauge de Minkowska y es la distancia del origen, al borde mas lejano del conjunto C (el supremo), en la direcci on denida por x, este valor de lambda se obtiene normalizando el vector y ponderandolo por la norma de x. En los gr acos se observa clarametne una funci on convexa, propiedad heredada por el borde del conjunto X, puesto que mientras m as lejano est a el vector , la funci on toma valores menores de modo convexo y le da la forma de rielque se observa en los gr acos, tambi en se observa que la funci on dene un cono convexo, lo que signica que est a funci on es m as que convexa, es sublineal.

Demostraci on de la sublinealidad del Gauge de Minkowska Para demostrar la sublinealidad de usar a la caracterizaci on de las funciones sublineales que dice: una funci on es sublineal si y solo si su ep grafo es un cono convexo. La demostraci on de convexidad es an aloga a la realizada para la funcion cota inferior, la u nica diferencia es que se debe considerar la indicatriz sobre el conjunto C el cual es convexo pues est a denida sobre un conjunto convexo (C es convexo para todo ). Para demostrar que el ep grafo de la funci on dene un cono, por denici on de cono se requiere que x epi{f }, 0, x epi{f } f (x) h f (x) h, 0 para ello se demostrar a que f es positivamente homog enea de grado 1, es decir: f (x) = f (x), 0 Sea 0, se tiene que f (x) = nf { > 0|(x) C } f (x) = nf { > 0|x sea =
C}

con esto la igualdad queda: f (x) = nf { > 0|x C } f (x) = nf { > 0|x C } f (x) = f (x)

por lo tanto se cumple f (x) h f (x) h, 0 Concluyendose que el Gauge de Minkowska cumple ser funci on sublineal.

2.3.

Im agen de una funci on convexa por una aplicaci on lineal

R convexa y A : X Y Sean X, Y espacios vectoriales normados, f : X I lineal, se dene la funci on g : Y I R como g(y ) = nf {f (x)|Ax = y } Considerando X = Y = I R se obtienen los gr acos de la gura 5, en donde dejando f jo, se cambia el valor de la funci on lineal, obteniendose la funci on buscada, gracada de lado (como imagen). Se izquierda a derecha se consider o la pendiente de la funci on lineal como 2, 0.5 y -2 respectivamente. Por lo menos dentro de I R, se observa quee la raz on de la convexidad de la funci on es porque la aplicaci on lineal solamente contrae, expande o invierte con respecto al eje Y la funci on convexa, y como est e proceso se realiza linealmente, todo el ep grafo se transformade manera que se mantiene la convexidad de esta, dicho de otro modo, si se considera un segmento que une 2 puntos del grafo, los cuales por convexidad pertenecen al ep grafo, al obtenerse su imagen por la funci on lineal, estos quedar an en el ep grafo de la nueva funci on. 6

400

400

400

200

200

200

-200

-200

-200

-400

-400

-400

-200

-150

-100

-50

50

100

150

200

-200

-150

-100

-50

50

100

150

200

-200

-150

-100

-50

50

100

150

200

Figura 5: Gr acos obtenidos, con funci on f ja y cambiando la funci on lineal.

Demostraci on de la convexidad de la Im agen de una funci on convexa por una aplicaci on lineal Se vericar a la desigualdad de Jensen, para ello sean y1 , y2 Y , (0, 1) se tienen las siguientes desigualdades por denici on. g(y1 + (1 )y2 ) = nf {f (x)|A(x) = y1 + (1 )y2 )} = f (x) + con A(x) = y1 + (1 )y2 , 0 g(y1 ) = nf {f (x)|A(x) = y1 } = f (x1 ) + 1 , con A(x1 ) = y1 , 1 0 g(y2 ) = nf {f (x)|A(x) = y2 } = f (x2 ) + 2 , con A(x2 ) = y2 , 2 0 A(x) = A(x1 ) + (1 )A(x2 ) A(x) = A(x1 + (1 )x2 ) g(y1 + (1 )y2 ) = f (x1 + (1 )x2 ) + g(y1 + (1 )y2 ) f (x1 ) + (1 )f (x2 ) + g(y1 + (1 )y2 ) (g(y1 ) 1 ) + (1 )(g(y2 ) 2 ) + con lo cual haciendo tender todos los epsilons a cero, se llega a la desigualdad buscada y se demuestra convexidad. La demostraci on alternativa usando una funci on marginal, est a dada por
xX

nf {f (x) + IAp (x, y )}, Ap = epi(A)

donde se tiene suma de convexos, la que es una funci on convexa.

2.4.

Inmo de funci on convexa con dominio restringido

sea X espacio vectorial normado, f : X I R convexa y hi : X I R i = 1, 2, ...n R como : colecci on de funciones convexas, se dene la funci on g : X I g(y1 , y2 , ...yn ) = nf {f (x), hi (x) yi }, i = 1, 2...n 7

20 (x-aa)*(x-aa)*a (x-bb)*(x-bb)*b

15 3 2 1 10 0 -1 -2 5 -3 -4 -5-20 40 0 20 20 40 60 0 80 100-20 80 60 100

0 -4 -2 0 2 4

Figura 6: A la izquierda las restricciones al dominio y a la el nmo del logaritmo negativo con dominio restringido.

R, se tienen los grcos de la gura 6, donde las Considerando X = I R, f (x) = log(x) y g : I R2 I restricciones son las funciones gracadas a la izquierda y el gr aco de g es el de la derecha, en donde el plano superior representa los valores innitos, dados por nf {}. Para comprender el grafo de la >y funci on g, se deben ver las restricciones como unas trabas al dominio, en donde para cada y1 1 se tiene que el conjunto de puntos que cumple la restricci on aumenta, implicando que la funci on disminuye (pues se busca el inmo sobre un mas grande que contiene al anterior, implicando que se pueden encontrar puntos menores) esto explica que g sea decreciente en todas sus variables, la convexidad es heredada de la convexidad de f , y el que las restricciones sean convexas se pide para que el dominio generado por ellas, sea convexo. Si se ubiese escogido una funci on con m nimo, la funci on g ubiese denido un plano a partir de cierto valor de y1 y y2 , pues para cualquier punto mayor que estos, el dominio denido por las restricciones.aumentar a, pero el minimo se mantendr a, manteniendose un valor constante para g. Demostraci on de convexidad mediante Funci on Marginal
xX

Se tiene que

g(y1 , y2 ...yn ) = nf {f (x) + Ih1 (x, y1 ) + ...Ihn (x, yn )} donde hi representa el ep grafo de la funcion hi , como se tiene inf mo sobre una variable de suma de funci ones convexas, se cumple que g es una funci on convexa.

2.5.

Inmo Convoluci on

R funciones convexas, se dene el Sean X espcio vectorial normado y f, g : X I nmo convoluci on de f y g como: (f g) = nf {f (y ) + g(x y )}
y X

Considerando una parabola y el logaritmo negativo, se obtienen los gr acos de la gura 7, en donde el tercer gr aco a la derecha representa el nmo de convoluci on entre estas funciones. A priori no se observa ninguna bondad geom etrica para esta funci on, aunque cumple muchas propiedades interesantes.

2.5 -log(x) 2 1.5

16 a*((x-b)**2)

18 f(minix(x))+g(x-minix(x)) 16

14 14 12 12 10 8

1 0.5 0 -0.5 -1 4 -1.5 -2 -2.5 -10 2 10

8 6 6 4 2 0 -2 0 -10 -4 -10

-5

10

-5

10

-5

10

Figura 7: De izquierda a derecha, 2 funciones convexas y el resultado de su nmo de convoluci on.

Demostraci on de convexidad El nmo de convoluci on es directamente un caso particular de una funci on marginal, porque en efecto se tiene como resultado el nmo sobre una variable, de una funci on de 2 variables, por lo tanto se concluye que el nmo de convoluci on es una funci on convexa.

3.

Funci on Perspectiva

R convexa, se dene la funci on Sea X espacio vectorial normado y f : X I R tal que perspectiva de f como g : X I R+ I g(x, t) = tf ( x t) Considerando la funci on obtenida en la secci on 2.4 como producto de convoluci on, se obtienen los gr acos de la gura 8, observando el gr aco claramente se tiene convexidad, la raz on es la convexidad se obtiene analizando el ep grafo de la funci on. Demostracion de la Convexidad de la Funci on Perspectiva Sabemos que

X I R|g(t, x) h} epi(g) = {(t, x, h) I R+ X I epi(g) = {(t, x, h) I R+ R|tf ( x t ) h} h h X I R|f ( x R+ epi(g) = {t(1, x t, t) I t) t} {(1, x, h)|(x, h) epi(f )} epi(g) = I R+

lo cual es un conjunto convexo, demostrandose la convexidad de la funci on perspectiva.

4.

Conjugada de Legendre-Fenchel

Sean X espacio vectorial normado, X el dual topolgico de X y sea f : X I R una funci on cualquiera, se dene la conjugada de Legendre-Fenchel de f como f : X I R tal que: f (x ) = sup {< x , x > f (x)}
xX

Para el an alisis geom etrico de esta funci on, se considerar a X =I R lo que implica que X = I R. Considerando f (x) = exp(x) se tiene que su conjugada vale: 9

18 f(minix(x))+g(x-minix(x)) 16 14 12 35 10 8 6 4 2 0 -2 -4 -10 30 25 20 15 10 5 0 -5 -10 -15 5 10 25 15 20 30 25 30 35 35 40 40 15 20 10 5 y*h(x/y)

-5

10

Figura 8: A la izquierda la funci on convexa y a la derecha su perspectiva.

14 exp(x) 10 12 x*log(x)-x t, 13.5

10

8 6 6

2 2 0 0 -10 -8 -6 -4 -2 0 2 -2 -10 -5 0 5 10

Figura 9: A la izquierda la exponencial, a la derecha su conjugada.

f (x ) =

lo que entrega los gr acos de la gura 5. La interpretaci on geom etrica de esta funci on requiere de una funci on estrictamente convexa y diferenciable, donde la conjugada en cada x , equivale a una funci on que relaciona una recta tangente a la funci on f de pendiente x , con su intersecci on con el eje Y o de manera m as clara: Sabemos que la ecuaci on de una recta est a dada por y = mx + n, se quiere que esta recta sea tangente a la funci on en un punto x0 , con ello se tiene f (x0 ) = mx0 + n con m = f (x0 ) n = f (f
1

+ si x < 0 0 si x = 0 x log(x) x si x > 0

)(m)) mf

(m) = f (m)

donde la ultima igualdad se obtiene al derivar con respecto a x e igualar a cero para obtener el m aximo (esto es posible pues, el supremo toma condici on de m aximo). teniendose la ultima expresi on, se puede comprender el valor de la conjugada de la exponencial, pues como la exponencial no posee rectas tangentes con valores negativos, la conjugada vale innito, y evaluando en cero, se obtiene cero que ser a una especie de recta tangente en el . Con esta interpretaci on se pueden preveer valores de la conjugada, como por ejem pues la funci plo considerando f (x) = log(x), se sabe que la f (x ) = +, x dom{f } = R+ on f posee solo rectas tangentes de pendiente negativa. 10