Algoritmo de Gauss-Newton

De Wikipedia, la enciclopedia libre

Saltar a navegacin , bsqueda El algoritmo de Gauss-Newton es un mtodo utilizado para resolver lineales por lo menos no plazas problemas. Puede ser visto como una modificacin del mtodo de Newton es para encontrar un mnimo de una funcin . A diferencia del mtodo de Newton, el algoritmo de Gauss-Newton slo se puede utilizar para reducir al mnimo la suma de valores de la funcin al cuadrado, pero tiene la ventaja de que las segundas derivadas, que puede ser difcil de calcular, no son necesarios. Lineales por lo menos no surgen problemas de plazas por ejemplo, en regresin no lineal , donde los parmetros en un modelo se buscan de manera que el modelo est en buen acuerdo con observaciones disponibles. El mtodo debe su nombre a los matemticos Carl Friedrich Gauss y Isaac Newton .

Contenido
[hide]
y y y y y y y y

1 Descripcin 2 Notas Ejemplo 3 4 Convergencia propiedades 5 Derivacin de los mtodo de Newton 6 versiones mejoradas 7 algoritmos relacionados 8 Referencias y notas o Toma nota de 8,1 o 8.2 Bibliografa

[ editar ] Descripcin
Dado r m funciones 1, ..., r m de n variables = ( 1, ..., n ), con n m, el algoritmo de Gauss-Newton descubre el mnimo de la suma de los cuadrados

[1]

A partir de una estimacin inicial iteraciones

para el mnimo, las ganancias por el mtodo de

donde el incremento

es la solucin a la ecuaciones normales :

Aqu, R es el vector de funciones r i, r y J es el m n matriz Jacobiana de r con respecto a , ambas evaluadas en s. El superndice denota la matriz de adaptacin . En ajuste de datos, donde el objetivo es encontrar los parmetros de tal manera que un modelo de funcin dada y = f (x, ) se adapta mejor algunos puntos de datos (x i, y i), las funciones r i son los residuos

A continuacin, el incremento funcin f, como

se puede expresar en trminos del jacobiano de la

[ editar ] Notas
La hiptesis n m en la declaracin algoritmo es necesario, de lo contrario la matriz r T r J J no es invertible y las ecuaciones normales no se pueden resolver. El algoritmo de Gauss-Newton se puede derivar una aproximacin lineal del vector de funciones r i. Usando el teorema de Taylor , podemos escribir en cada iteracin:

con

La tarea de encontrar

minimizando la suma de los cuadrados

del lado derecho, es decir, , Es una lineal por mnimos cuadrados problema, que puede ser resuelto de manera explcita, la obtencin de las ecuaciones normales en el algoritmo. Las ecuaciones normales son m ecuaciones lineales simultneas en los incrementos desconocido, . Ellos pueden ser resueltos en un solo paso, utilizando la descomposicin de Cholesky , o, mejor, la factorizacin QR de r J. Para sistemas grandes, un mtodo iterativo , como el gradiente conjugado mtodo, puede ser ms eficiente. Si hay una dependencia lineal entre las columnas de r J, las iteraciones se producir un error como T r J r J se convierte en singular.

[ editar ] Ejemplo

curva obt i a con y C l l comparaci n con los datos observados (en rojo)

(En azul) en

En este ejemplo, el al oritmo de Gauss-Newton se utilizar para ajustar un modelo a al unos datos, minimizando la suma de los cuadrados de los errores e ntre los datos y las predicciones del modelo. En un experimento de biologa estudiando la relaci n entre la concentraci n de sustrato [S] y velocidad de reacci n en una reacci n enzimtica mediada, los datos de la tabla a continuaci n se obtuvieron. yo 1 2 3 4 5 6 7 S] 0,038 0,194 0,425 0,626 1,253 2,500 3,740 tipo 0,050 0,127 0,094 0,2122 0,2729 0,2665 0,3317 Se desea encontrar una curva (funci n del modelo) de la forma

que se ajuste mejor los datos en el menor sentido cuadrados, con los parmetrosV y K M que se determine.

max

Se designa por x i e y i el valor de [S] y la tasa de la mesa, Que 1 = V max y 2 = K M. Encontraremos 1 y 2 tal que la suma de los cuadrados de los residuales

( se reduce al mnimo.

El jacobiano del vector de residuos r i con respecto a las incgnitas matriz con la fila i-sima tener las entradas

es un

A partir de las estimaciones iniciales de

= 0,9 y

= 2 0,2, despus de cinco y

iteraciones del algoritmo de Gauss-Newton los valores ptimos

se obtienen. La suma de los cuadrados de los residuos disminuyeron desde el valor inicial de 1,445 a 0,00784 despus de la quinta iteracin. La trama en la figura de la derecha muestra la curva determinada por el modelo para los parmetros ptimos en comparacin con los datos observados.

[ editar ] propiedades de convergencia

Se puede demostrar que el incremento es una direccin de origen para la S [2] , y, si el algoritmo converge, entonces el lmite es un punto estacionario de S. Sin embargo, la convergencia no est garantizada, ni siquiera local de convergencia como en el mtodo de Newton . La tasa de convergencia del algoritmo de Gauss-Newton puede acercarse cuadrtica . [3] El algoritmo puede converger lentamente o en absoluto si la conjetura inicial est lejos de ser el mnimo o la matriz es mal condicionado .

El algoritmo de Gauss-Newton puede no converger. Por ejemplo, considere el problema con m = 2 ecuaciones y n = 1 variable, dada por

El ptimo est en = 0. Si = 0, entonces el problema es en realidad lineal y el mtodo encuentra el ptimo en una iteracin. Si | | <1, entonces el mtodo converge linealmente y el error disminuye asintticamente con un factor | | en cada iteracin. Sin embargo, si | |> 1, el mtodo no es ni siquiera convergen a nivel local. [4]

[ editar ] Derivacin de los mtodo de Newton

En lo que sigue, el algoritmo de Gauss-Newton se derivarn de los mtodo de Newton para la optimizacin de la funcin a travs de una aproximacin. Como consecuencia, la tasa de convergencia del algoritmo de Gauss-Newton est en la mayora de segundo grado. La relacin de recurrencia para el mtodo de Newton para minimizar una funcin de los parmetros S, , es

donde g denota el vector gradiente de S y H denota la matriz hessiana de S. Desde , El gradiente viene dada por

Elementos de la Hesse se calculan los elementos diferenciadores de gradiente, g j, con respecto a k

El mtodo de Gauss-Newton se obtiene al hacer caso omiso de segundo orden trminos derivados (el segundo trmino en esta expresin . Es decir, el grupo de accin es aproximada por

donde son las instancias de la J r jacobiano. El gradiente y la aproximacin de Hesse se puede escribir en notacin matricial como

Estas expresiones se sustituyen en la relacin de recurrencia anterior para obtener las ecuaciones de funcionamiento

Convergencia del mtodo de Gauss-Newton no est garantizada en todos los casos. La aproximacin

que debe poseer para poder ignorar los trminos de segundo orden derivado puede ser vlida en dos casos, para el que la convergencia es de esperar. [5] 1. Los valores de la funcin r i son pequeos en magnitud, al menos en torno al mnimo.

2.

Las funciones son slo "ligeramente" no lineal, de modo que relativamente pequeo en magnitud.

es

[ editar ] versiones mejoradas

Con el mtodo de Gauss-Newton de la suma de los cuadrados S no puede disminuir en cada iteracin. Sin embargo, como es una direccin descenso, a menos que es un punto estacionario, se cumple que para todos los suficientemente pequeo > 0. As, si se produce divergencia, una solucin es emplear una fraccin, , del vector de incremento, en la frmula de actualizacin . En otras palabras, el vector de incremento es demasiado largo, pero en los puntos "hacia abajo", as que el ir slo una parte de la manera disminuir la funcin objetivo S. Un valor ptimo de se puede encontrar mediante una lnea de bsqueda de algoritmos, es decir, la magnitud de se determina encontrando el valor que minimiza S, por lo general utilizando un mtodo de bsqueda directa en el intervalo 0 < <1. En los casos en que la direccin del vector de cambio es tal que la fraccin ptima, , es cercana a cero, un mtodo alternativo para el manejo de divergencia es el uso del algoritmo de Levenberg-Marquardt , tambin conocida como la regin de la confianza "mtodo". [ 1] Las ecuaciones normales se modifican de tal manera que el vector incremento se gira hacia la direccin de mxima pendiente , , donde D es una matriz diagonal positiva. Tenga en cuenta que cuando D es la matriz identidad y , A continuacin, se acerca a la direccin del gradiente , Por lo tanto la direccin de .

El llamado parmetro de Marquardt-as, , tambin puede ser optimizado por una bsqueda de lnea, pero resulta ineficaz como el vector desplazamiento se debe volver a calcular todos los es el tiempo cambi. Una estrategia ms eficiente es la siguiente. Cuando se produce divergencia aumentar el parmetro Marquardt hasta que haya una disminucin en S. Entonces, conservar el valor de una iteracin a la siguiente, pero si es posible disminuir hasta un valor de corte se alcanza cuando el parmetro de Marquardt se puede establecer en cero; la minimizacin de la S se convierte en una minimizacin de Gauss-Newton estndar.

[ editar ] algoritmos relacionados

En un mtodo cuasi-Newton , como que, debido a Davidon, Fletcher y Powell una estimacin del total de Hesse, , Se construye numricamente utilizando

primeras derivadas slo para que despus de n ciclos refinamiento del mtodo se aproxima a los mtodo de Newton en el rendimiento. Otro mtodo para resolver problemas, al menos, usan slo las primeras derivadas es el descenso de gradiente . Sin embargo, este mtodo no tiene en cuenta las derivadas segundas ni siquiera aproximadamente. En consecuencia, es altamente ineficiente para muchas funciones.

[ editar ] Referencias y notas

[ editar ] Notas
1. 2. 3. 4. 5. ^ un b , A. (1996 . Mtodos Numricos Bjrck por lo menos problemas de plazas. SIAM, Filadelfia. ISBN 0-89871-360-9 . ^ Bjrck, P260 ^ Bjrck, P341, 342 ^ Fletcher, Roger (1987 . Mtodos prcticos de optimizacin (2 ed. . Nueva York: John Wiley & Sons . p. 113. ISBN 978-0-471-91547-8 . ^ Nocedal, Jorge; Wright, Stephen (1999 . numricos de optimizacin. New York: Springer. ISBN 0387987932 .

[ editar ] Bibliografa
y

Fletcher, Roger (1987 . Mtodos prcticos de optimizacin (2 ed. . Nueva York: John Wiley & Sons . ISBN 978-0-471-91547-8 .