Apuntes de teri

o - Mtodos Numri os
Mnimos Cuadrados

Instituto de Matemti as y Estadsti a Rafael Laguardia

Fa ultad de Ingeniera, Universidad de la Republi a
Segundo semestre 2011 - Montevideo, Uruguay

Nota importante: El presente material forma parte de una versin en pro eso
de revisin de un texto teri o para el urso Mtodos Numri os. Por lo tanto,
para preparar los exmenes se debe utilizar el material de las lases teri as y la
bibliografa re omendada.
NDICE 2

ndi e

1. Mnimos Cuadrados 3
1.1. Problema de ajuste general . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.2. Mnimos uadrados lineal . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.2.1. Des omposi in QR . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

1.2.2. Des omposi in SVD . . . . . . . . . . . . . . . . . . . . . . . . . . 7

1.3. Mnimos Cuadrados No Lineales . . . . . . . . . . . . . . . . . . . . . . . . 9

Versin en revisin. Por errores o dudas dirigirse al foro de sugeren ias del sitio EVA del urso.
 3

1. Mnimos Cuadrados

1.1. Problema de ajuste general

En general es el problema geomtri o de ajustar una gura a una serie de puntos segn
algn riterio de mnima distan ia. Por ejemplo ajustar elipses a puntos del plano, ver
gura.

Los datos surgen de una gura des ono ida a la ual se le agrega ruido, bus amos re uperar
a partir de estos datos on ruido la gura verdadera.

1.2. Mnimos uadrados lineal

Supongamos que tenemos iertos datos dados por la tabla

t y
t1 y1
. .
. .
. .
tm ym

y una fun in de ajuste a esos datos on parmetros x1 , , xn , dada por

P
(x1 , x2 , , xn , t) = ni=1 xi i (t). Donde los i (t) : R R pertene en a una familia
de fun iones base ono idas linealmente independientes.

Observamos que (X, t) es lineal on respe to a los xi y en general m > n, o sea que
esperamos mas datos que parmetros de ajuste. Bus amos enton es de todas las (X, t) las
que mejor se ajustan a los datos segn un riterio de distan ia que veremos a ontinua in.

Deni in 1.1. En las hiptesis hasta ahora expuestas denimos el residuo omo la
siguiente fun in,

(x1 , x2 , , xn , t1 ) y1
(x1 , x2 , , xn , t2 ) y2
Rn

R(x1 , x2 , , xn ) = ..
.
(x1 , x2 , , xn , tm ) ym

que depende de los parmetros x1 , x2 , , xn .

El problema de mnimos uadrados lineal es en ontrar (x1 , x2 , , xn ) que minimi e

m
X
kR(x1 , x2 , , xn )k22 = ((x1 , x2 , , xn , tj ) yj )2
j=1

Versin en revisin. Por errores o dudas dirigirse al foro de sugeren ias del sitio EVA del urso.
1.2 Mnimos uadrados lineal 4

En nota in matri ial el problema queda planteado de la siguiente manera:

x1 y1
x2 y2
X = .. Rn , Y = .. Rm

. .
xn ym

1 (t1 ) 2 (t1 ) n (t1 )
1 (t2 ) 2 (t2 ) n (t2 )
M mn

A= .
.
.
.
.
.
. . .
1 (tm ) 2 (tm ) n (tm )
y denimos el resto omo R(X) = AX Y y queremos minimizar kAX Y k22 .

Teorema 1.1 (E ua iones Normales) . A M mn , Y Rm , X 

Sean Rn , enton es


X
minimiza kAX Y k22 si y solo si Y es ortogonal a Im(A) o At AX
AX Y = 0.

Observa in 1.1. El sistema de e ua iones At AX = At Y se llaman e ua iones nor-

males.

Si los i son l.i. enton es |AAt | =

6 0 y existe una ni a solu in a las e ua iones
normales.

Si los i son l.d. enton es |AAT | = 0 y existen innitas solu iones a las e ua iones
normales.

Veremos dos demostra iones del teorema 1.1, en la primera usaremos lgebra lineal y en
la segunda al ulo.

 
n
Demostra in 1 del teorema 1.1: Sea X R tal que A
t
y AX = 0. Para todo w
    
Rn vemos que Y Aw = Y AX + A X w , enton es para todo w Rn

     2
kY Awk22 = Y AX + A X w


2
2   2   t  

= Y AX + A X
w +2 A X
w Y AX
2 2
2   2  t  

= Y AX + A X
w +2 X
w At Y AX
2
| {z }2 | {z }
0 =0
2

Y AX
2

y enton es
X minimiza kY AXk22 .

Versin en revisin. Por errores o dudas dirigirse al foro de sugeren ias del sitio EVA del urso.
1.2 Mnimos uadrados lineal 5

 
Supongamos por absurdo que Rn
X minimiza kY AXk22 y = Z 6= 0.
At Y AX
Dado +Z , por lo visto anteriormente en la demostra in sabemos
> 0 denimos w = X
que

2  
kY Awk22
2 2 t t
= Y AX + kAZk2 2Z A Y AX
2 | {z }
=Z
2

= Y AX + 2 kAZk22 2kZk22

2

y para llegar a una ontradi in on respe to a la minimalidad, bus amos un

2 tal que

kY Awk2 < Y AX . Tenemos dos asos, kAZk22 = 0 o kAZk22 6= 0.
2
2
kZk22
Si kAZk22 = 0, tomo ualquier >0 y fun iona. Si kAZk22 6= 0, tomo = kAZk22
y

2 kZk42 kZk42
Awk22

kY = Y AX + 2
2 kAZk22 kAZk22


2 kZk42
= Y AX
2 kAZk22
2

> Y AX
2

Veamos un ejemplo de mnimos uadrados lineal.

Ejemplo 1.1. Supongamos que queremos aproximar los siguientes datos por una par-
bola,
t y
1 3.2
2 10.2
3 21.4
4 36.3
5 55.1
6 78.3

En este aso, tenemos que (x1 , x2 , x3 , t) = x1 t2 +x2 t+x3 , 1 (t) = t2 , 2 (t) = t, 3 (t) = 1,
y

3,2 1 1 1
10,2 4 2 1
2275 441 91
21,4 9 3 1
, AT A = 441 91 21
Y = , A =
36,3 16 4 1
91 21 6
55,1 25 5 1
78,3 36 6 1

Versin en revisin. Por errores o dudas dirigirse al foro de sugeren ias del sitio EVA del urso.
1.2 Mnimos uadrados lineal 6

5013,7
AT Y = 978,3
204,5

1,9893
Resolviendo las e ua iones normales vemos que = 1,0778
X
0,1400

En general las e ua iones normales pueden ser un problema mal ondi ionado para hallar
la solu in, por lo que bus amos mtodos alternativos para solu ionar las e ua iones
normales.

1.2.1. Des omposi in QR

La des omposi in QR de una matriz A es una des omposi in en un produ to de una
matriz ortogonal Q y otra matriz triangular superior R.
Teorema 1.2. Sea A M mn , on m > n on rango n. Existen matri es Q M mm ,
mn T
R M tales que: A = QR, Q Q = Im o sea Q es ortonormal, y R es triangular
superior o sea Ri,j = 0 para todos los i > j .

Proposi in 1.3. Sea Q M mm ortonormal, o sea QT Q = Im enton es kQXk2 =kXk2

para todo X R m
y Q1 = QT .

Demostra in. Veamos que kQXk2 =kXk2 para todo X Rm .

kQXk22 = (QX)T (QX) = X T QT QX = X T X =kXk22

Apli amos ahora los resultados anteriores al problema de mnimos uadrados. Supone-
mos que las e ua iones normales tienen solu in ni a, o sea es un sistema ompatible
determinado, enton es bus amos

mn kAX Y k22 = mn kQRX Y k22

XRm XRm

2
= mnm Q RX QT Y 2
XR
2
= mnm RX QT Y 2
XR

2
2
= mnm R1 X QT Y 1 2 + QT Y 2 2
XR

nn T


donde R1 M es la matriz formada por las primeras n las de R, y Q Y
1
Rn ,


QT Y 2 Rmn son los ve tores formados por los primeros n y (m n) elementos de


2
QT Y Rm , respe tivamente. Minimizamos tomando R1 X = QT Y 1 , ya que QT Y 2 2
T


no depende de X . Dedu imos que tenemos que resolver el sistema R1 X = Q Y
1

Versin en revisin. Por errores o dudas dirigirse al foro de sugeren ias del sitio EVA del urso.
1.2 Mnimos uadrados lineal 7

Ejemplo 1.2. Con los datos del ejemplo 1.1, vemos que

1 1 1

4 2 1

9 3 1
A= = QR

16 4 1

25 5 1
36 6 1
donde
0,021 0,343 0,838 0,112 0,040 0,405

0,084 0,521 0,168 0,006 0,346 0,757

0,189 0,535 0,224 0,613 0,488 0,122
Q=

0,335 0,383 0,335 0,754 0,213 0,122
0,524 0,065 0,168 0,205 0,706 0,391
0,755 0,417 0,279 0,042 0,311 0,283

47,7 9,25 1,91
0 2,35 1,43
47,7 9,25 1,91
0 0 0,54
R= , R1 = 0 2,35 1,43
0 0 0
0 0 0,54
0 0 0
0 0 0
Enton es, el X R3 X solu in del sistema
que minimi e va a ser el

47,7 9,25 1,91 105
0 2,35 1,43 X = 2,73
0 0 0,54 0,008

1,9893
por lo que X = 1,0778 .
0,1400

1.2.2. Des omposi in SVD

Teorema 1.4. Sea A M mn , on rango r, M mn , U M mm , V M nn .
existen

1 0 0
  ..
1 0r(nr) 0 . 0
= , 1 = . . 2 . .
0(mr)r 0(mr)(nr) .. .. .. .
.

0 0 r
y 1 2 r > 0, que son llamados valores singulares de A. U, V son ortonor-
males, U = [U1 |U2 ] U1 M mr , V = [V1 |V2 ] V1 M nr . Estas matri es umplen
A = UV T

Versin en revisin. Por errores o dudas dirigirse al foro de sugeren ias del sitio EVA del urso.
1.2 Mnimos uadrados lineal 8

A = U1 V1T

Observa in 1.2. Los valores singulares de A son i = i donde i es valor propio de
T
A A. Se umple ademas que i 0 ya que AT A es semi-denida positiva.
Veamos omo usar la des omposi in SVD al problema de mnimos uadrados lineal.
En este aso no ne esitamos asumir que las e ua iones normales tienen solu in ni a.
Bus amos:
2
mnn kAX Y k22 = mnn UV T X Y 2
XR XR
 
2 Z1
= mnn V T X U T Y 2 , (denimos Z = V T X = )
XR Z2
2
1 Z1 U1T Y 2 2
= mnn = 1 Z1 U1T Y 2 + U2T Y 2
ZR U2T Y
2
 
1 T
1 U1 Y
que minimiza si 1 Z1 = U1T Y enton es Z1 = 1 T
1 U1 Y y Z = , on Z2
Z2
R(nr) arbitrario. Los X que minimizan son

X = V Z = V1 1 T
1 U1 Y + V2 Z2

y elegimos el X que minimiza la norma, o sea V2 Z2 = 0 . Por lo que tomamos

X = V1 1 T
1 U1 Y

Ejemplo 1.3. Retomando el ejemplo 1.1, vemos que A = UV T donde:

0,025 0,434 0,795 0,112 0,040 0,405

0,099 0,536 0,109 0,006 0,346 0,757

0,194 0,505 0,281 0,613 0,488 0,122
U = [U1 |U2 ] =

0,339 0,339 0,375 0,754 0,213 0,122

0,525 0,041 0,173 0,205 0,706 0,391
0,750 0,391 0,324 0,042 0,311 0,283

48,6 0 0
 

0 2,72 0

1 0 0 0,473
= =
0
0 0 0

0 0 0
0 0 0

0,981 0,182 0,070
V = V1 = 0,191 0,823 0,535
0,040 0,538 0,842

Versin en revisin. Por errores o dudas dirigirse al foro de sugeren ias del sitio EVA del urso.
1.3 Mnimos Cuadrados No Lineales 9

y

1,9893
X = V1 1 T
1 U1 Y =
1,0778
0,1400

1.3. Mnimos Cuadrados No Lineales

Veremos ahora el aso mas general del problema de mnimos uadrados. Lo que hi imos en
el aso lineal era ajustar una fun in a iertos datos y lineal respe to a iertos parmetros.
Supongamos omo antes que tenemos iertos datos dados por la siguiente tabla

t y
t1 y1
.. ..
. .
tm ym

y una fun in de ajuste (x1 , x2 , . . . , xn , t) = f (X, t) no lineal on respe to a los parme-

tros de ajuste x1 , x2 , . . . , xn .
Ejemplo 1.4. La fun in f (x1 , x2 , t) = x1 ex2 t , no es lineal on respe to a los parmetros
x1 , x2 .
Deni in 1.2. Denimos el residuo, omo antes, omo la siguiente fun in,

f (X, t1 ) y1
f (X, t2 ) y2

R(x1 , x2 , , xn ) = R(X) = .
.
= F (X) Y
.
f (X, tm ) ym
donde denotamos
f (X, t1 )
f (X, t2 )

F (X) = ..
.
f (X, tm )
que depende de los parmetros x1 , x2 , , xn .

El problema de mnimos uadrados no lineal es el de hallar un

X que al an e el siguiente
mnimo:
mn kF (X) Y k22
XRn

Presentamos el algoritmo de Gauss-Newton para en ontrar una solu in al problema de

mnimos uadrados no lineal. La idea del algoritmo es suponer que tenemos una buena
aproxima in de la solu in Xk y linealizar el residuo en un entorno de Xk y resolver un
problema de mnimos uadrados lineal para obtener una mejor aproxima in Xk+1 .

Versin en revisin. Por errores o dudas dirigirse al foro de sugeren ias del sitio EVA del urso.
1.3 Mnimos Cuadrados No Lineales 10

Algorithm 1 Algoritmo de Gauss-Newton

0:X 0 Rn
k+1: Ak JF (XK )
bk Y F (Xk ) Resuelvo mnimos uadr

Versin en revisin. Por errores o dudas dirigirse al foro de sugeren ias del sitio EVA del urso.