2o Trabalho de Otimizao de Funes

Otimizao de funes atravs do mtodo do Gradiente e Newton hibridizado com o mtodo do gradiente
Claudir Oliveira - coliveira@uerj.br, Instituto Politcnico - Universidade do Estado do Rio de Janeiro - IPRJ, UERJ Prof.: Luis Nelio Henderson Guedes de Oliveira

1.

Introduo

Tr ab
2.

Existem diversos mtodos para soluo de equaes lineares e no lineares para otimizao de problemas, sejam mtodos determinsticos e/ou estocsticos. Porm, medida que os problemas se tornam mais complexos, as razes minimizadoras, so de difcil soluo. Desta forma, os mtodos determinsticos com caractersticas de forte convergncia global, so alternativas fceis de implementar alm de se obter resultados to prximos a solues exatas. O presente trabalho tem como objetivo, a soluo de problemas caracterizados por modelos no-lineares e possivelmente multimodais. O algoritmo base (Mxima descida) usado de fcil implementao e seu desempenho comparado ao mtodo de Newton combinado com o mtodo do gradiente. Para que os algoritmos sejam convenientemente testados, sero aplicados alternativamente algumas funes testes as quais podem ser encontradas em [2]. Objetiva-se ento minimizar as funes atravs dos mtodos. Os resultados preliminares computacionais, para o conjunto de problemas testes de otimizao sem restries aqui usados, mostram que o mtodo de Newton hibridizado com o gradiente conjugado, supera o mtodo de mxima descida.

Problemas propostos

Para que os algoritmos pudessem ser vericados, algumas funes testes foram escolhidas para testes. A anlise de desempenho dos mtodos foi realizada atravs do nmero de iteraes. A seguir esto listados os problemas de quadrados mnimos escolhidos a partir de coleo de funes descritas em [2].

alh

od eO

Resumo. Os algoritmos apresentados neste trabalho tem como objetivo resolver problemas com caractersticas no-lineares sem restries e com mltiplos timos. Em muitos problemas com essas caractersticas, so usados os alguns mtodos tradicionais, que nem sempre so ecientes para encontrar as solues. Nesse sentido, o mtodo de Newton de busca linear, combinado com o mtodo do gradiente foi usado na busca da soluo. Em seguida, as funes testes tambm foram aplicadas no mtodo de descida mxima para comparao. Os resultados indicam que o mtodo de Newton hibridizado se mostrou com melhor desempenho para resolver os problema aqui testados.

tim iza o

2.1.

Funo I

Primeiramente, uma funo mais simples foi usadas nos mtodos. Essa funo tem mnimo x1 = 2, x2 = 1 e f (x) = 0 e escrita da seguinte forma F (x1 , x2 ) = (x1 2)4 + (x1 2 x2 )2 (2.1)

2.2.

Funo de Rosenbrock

Em otimizao matemtica, a funo de Rosenbrock uma funo no-convexa utilizada como problema de teste em desempenho de algoritmos de otimizao, introduzidas por Howard Rosenbrock em 1960 [1]. tambm conhecido como vale de Rosenbrock ou funo banana de Rosenbrock. O mnimo global desta funo se encontra em um longo e estreito vale em forma parablica plana. Para encontrar o vale trivial porm, a convergncia para o mnimo global, difcil e denida pela seguinte equao

od eO

F (x1 , x2 ) = 100(x1 + x2 )2 + (1 x1 )2

cuja variante, usada neste trabalho dada por,

N/2

F (x1 , x2 ) =
i=1

= 100(x1 + x2 )2 + (1 x1 )2

Esta variante tem sido mostrado que existe um mnimo para N = 3 e dois mnimos para 4 N 7.

2.3.

Funo Beale

A funo bidimensional dada por

2 3 2 F (x1 , x2 ) = (1.5 x1 (1 x2 ))2 + (2.25 x1 (1 x2 2 )) + (2.625 x1 (1 x2 )) (2.4)

onde x0 = [1, 0.8, ..., 1, 0.8] e cujo o mnimo global 0 no ponto (3; 0, 5)

2.4.

Funo Freudenstein & Roth

Essa funo tem o mnimo global F (x1 , x2 ) = 0 no ponto [4; 5] e um mnimo local F (x1 , x2 ) = 48.98425 no ponto [11.4125; 0.89685]. denida da seguinte forma

Tr ab

F (x1 , x2 ) = (13 + x1 + ((5 x2 )x2 2)x2 )2 + (29 + x1 + ((x2 + 1)x2 14)x2 )2 (2.5)

onde x0 = [0.5, 2, 0.5, 2, ..., 0.5, 2].

2.5.

Funo de Himmelblau

A Funo de Himmelblau uma funo multimodal e espao de busca bidimensional (x1 , x2 ). Foi usada neste trabalho para testar a performance dos algoritmos de otimizao. funo de duas variveis, alm de possuir mais de um resultado timo possvel (conhecidos como mnimos locais), o que requer bons mtodos, para encontrar melhor essas solues.

alh

tim iza o
Claudir Oliveira (2.2) (2.3)

Otimizao de Equaes Lineares

Os quatros pontos correspondentes aos valores de mnimo citados na literatura so, respectivamente: x1 = 3, 0 e x2 = 2, 0; x1 = 3, 584 e x2 = 1, 848; x1 = 2, 805 e x2 = 3, 131; x1 = 3, 779 e x2 = 3, 283. A funo dada pela equao
2 2 2 F (x1 , x2 ) = (x2 1 + x2 11) + (x1 + x2 7)

As formas tridimensional das funes so representadas nas sees a seguir.

3.

Descrio dos mtodos

Os mtodos descritos a seguir se enquadram na categoria de algoritmos de busca direcionais e so considerados ecientes. O princpio desses algoritmos inicialmente, gerar xk de forma iterativa, com informao dada pelo usurio. Os algoritmos de otimizao irrestrita descritos aqui se enquadram na categoria de algoritmos de busca direcionais:

No mtodo da mxima descida (steepest descent) para soluo de equaes, inicia-se de um vetor soluo xi e caminha-se em direo ao vetor soluo, atravs de uma srie de passos x1 , x2 , ..., onde kk+1 = xk + pk (3.1)

at que xn seja prximo o suciente da soluo, satisfazendo alguma condio estabelecida. O algoritmo a seguir corresponde a forma simplicada do mtodo de mxima descida. Algorithm 1 - Algoritmo do mtodo de mxima descida
Parmetros de entrada: x0 e>0

end if

f (xk ) Faa Pk || f (xk )|| Encontre k > 0 k argmin f (xk + Pk )

xk+1 xk + Pk

k k+1

Tr ab

alh

k0 if f (xk ) < pare

od eO

3.1.

Mtodo de mxima descida

tim iza o
3 (2.6)

3.2.

Mtodo de Newton-Gradiente

O grande atrativo do Mtodo de Newton justamente suas caractersticas de convergncia, no entanto necessrio fazer algumas adaptaes ao mtodo para que possa ser utilizado a partir de pontos mais distantes da soluo. Em cada iterao de um mtodo de busca linear, calcula-se uma direo de pk e ento decide-se o quanto se deve mover ao longo desta direo. A iterao dada por kk+1 = xk + pk (3.2)

onde k um escalar positivo chamado de tamanho de passo. O sucesso do mtodo de busca linear depende da escolha da direo de pk e do tamanho do passo k . A maior parte desses algoritmos exigem que pk seja uma direo de descida.

Algorithm 2 - Algoritmo do mtodo de Newton de busca linear, hibridizado com o mtodo do gradiente. k0 if f (xk ) < pare
end if

N = f ( xk ) Resolver 2 f (xk )Pk T N if f (xk ) Pk < 0 faa N Pk Pk

else

Pk

f (xk ) ||f (xk )||

Encontre k > 0 k argmin f (xk + Pk )

xk+1 xk + Pk

k k+1

Tr ab

alh

N No algoritmo, Pk corresponde a direo de descida para f em xk : f (xk )T Pk < 0. Para obter convergncia global, a boa escolha do tamanho do passo no suciente, necessrio tambm a escolha da direo de Pk . Na literatura so encontradas as exigncias sobre a direo de busca, no sendo portanto objeto de estudo deste trabalho. A seo a seguir so mostradas as aplicaes dos algoritmos nas funes testes, e tambm, so ilustrados os grcos de cada funo.

od eO

Parmetros de entrada: x0

e>0

tim iza o
Claudir Oliveira

Otimizao de Equaes Lineares

4.

Resultados e discusses

Para ilustrar mellhor, as funes foram representadas na forma tridimensional como podem ser vistas com seus respectivos grcos a seguir.

(a) Funcao 1

(c) Beale

Tr ab

alh

Figura 1: Representao grca das funes testes.

Na Figura (2) esto representadas as curvas de nveis correspondente a algumas funes objetivo. O objetivo na apresentao desses grcos observas o comportamento das solues nos mtodos durante o processo iterativo.

od eO
(e) Himmelblau

tim iza o
5
(b) Rosenbrock (d) Freudenstein & Roth

(a) Funcao 1: Newton

(c) Rosembrock: Newton

Tr ab

Figura 2: Representao grca das curvas de nveis com o comportamento das razes.

O grco na Fig. (2e) corresponde a funo de Himmelblau que contm quatro mnimos. importante observar que as solues foram encontradas aps diferentes execues e alm disso, as estimativas iniciais foram modicas em cada execuo. Na Tabela 1 est mostrado as razes para a Eq. (2.2), obtidas com o mtodo de Newton hibridizado aps 4 execues.

alh

od eO
(e) Himmelblau: Steep Descent

tim iza o
Claudir Oliveira
(b) Funcao 1: Steep Descent (d) Rosembrock: Steep Descent

Otimizao de Equaes Lineares

Tabela 1: Resultados obtidos usando (I) o mtodo de Newton hbrido e (II) o gradiente. (I) (II) Iterao x1 x2 F (x1 , x2 ) x1 x2 1. 0. 3. 52. 0. 3. 2. 0,6665575 0,3335449 3,1615292 3,3023985 1,1986904 3. 1,1110286 0,5555199 0,6245270 2,5087361 1,4685477 4. 1,4073523 0,7036777 0,1233634 2,5406199 1,303023 5. 1,6048984 0,8024489 0,0243689 1,9108249 0,9741525 6. 1,7365975 0,8682983 0,0048137 1,9193548 0,9577140 7. 1,8243942 0,9121966 0,0009509 1,9187241 0,9594345

Observou-se que as razes mostradas na Tab.(1) so semelhantes s encontradas pelo mtodo do gradiente, porm com esse, com maior nmero de iteraes.

Tabela 2: Resultados obtidos para a funo Freudenstein & Roth usando o mtodo de Newton Hbrido. Iterao 1. 2. 3. 4. 5. 6. x1 0.7504609 6.6554661 10.180603 11.317879 11.410706 11.412743 x2 1.6122613 1.2522353 0.9990334 0.9053892 0.8969508 0.8968079 F (x1 , x2 ) 119.47536 62.700852 50.036591 48.991923 48.984256 48.984254

Tabela 3: Comparao das razes de cada funo, obtidas pelos dois algoritmos.
Funo I

alh

Aqui, observou-se que os resultados para o mtodo do gradiente foram adquiridos com um maior nmero de execuo, porm as razes so muitos semelhantes quelas obtidas com o mtodo de Newton. Os resultados mostrados na Tab. (3) sumarizam os resultados encontrados e faz um comparativo entre as solues e nmero de iteraes para os dois algoritmos.

od eO
Limites 0; 3 -1,2; 1 1; 1 0,5;-2 No Iter. 6 9 4 10 13 18 7 9

Tr ab

Rosembrock Beale

Freudenstein & Roth

Newt. Grad. Newt. Grad. Newt. Grad. Newt . Grad.

Para a funo Freudenstein & Roth que contm dois mnimos, o mtodo de Newton tambm encontra a raz x1 = 5, 0000324, x2 = 3, 9999994 e valor da funo objetivo F (x1 , x2 ) = 1, 518D 09.

tim iza o
7 mtodo do F (x1 , x2 ) 52. 3,6962938 0,2504756 0,0897022 0,0014680 0,0000577 0,0000437
x1 1,9903798 2,02923 0,9996996 1,000093 2.9997114 2,9983732 11,412743 11,412744 x2 0,9951894 1,0146224 0,9993989 1,0001863 0.4999285 0,4995979 -0,8968079 -0,8968078 F (x1 , x2 ) 8,566D-09 0,0000007 9,024D-08 8,660D-09 1.334D-08 0,0000004 48,984254 48,984254

5.

Concluses

Neste trabalho foi utilizado dois algoritmo para otimizao. Os mtodos usados apresentaram bom desempenho e resolveu os problemas propostos com o menor nmero de iteraes. O mtodo de Newton hbrido, nos casos estudados demostrou ser uma boa proposta na categoria de mtodos de otimizao. Em relao ao nmero de iteraes apresentou melhor resultado.

Referncias

[1] Rosenbrock, H.H. (1960). An automatic method for nding the greatest or least value of a function. The Computer Journal 3: 175-184. doi:10.1093/comjnl/3.3.175. ISSN 0010-4620. [2] Andrei, N. (2008) An unconstrained optimization test functions collection. Adv. Model. Optim. An Electr. Int. J., 10, pp. 147-161.

[3] J.L. Dorcio, M.F. Tom, Um mtodo numrico para simular escoamentos incompressveis de uidos de segunda ordem, TEMA Tend. Mat. Apl. Comput., 7, No. 1 (2006), 6374.

Tr ab

alh

od eO

tim iza o
Claudir Oliveira