Teorema de La Mejor Aproximación

Ingeniera Civil.
Matematicas I. 2012-2013.
Departamento de Matematica Aplicada II.
Escuela Superior de Ingenieros. Universidad de Sevilla.
Tema 5.- Ortogonalidad y mejor aproximacion.
5.1.- El producto escalar.
Norma, distancia, angulos y ortogonalidad.
Desigualdades y teorema de Pit agoras.
5.2.- El complemento ortogonal de un subespacio.
5.3.- Bases ortogonales.
Bases ortogonales de un subespacio.
El metodo de Gram-Schmidt.
Matrices ortogonales.
5.4.- La proyecci on ortogonal.
Proyecci on ortogonal sobre un subespacio.
El teorema de la mejor aproximacion.
5.5.- Problemas de mnimos cuadrados. Ecuaciones normales de Gauss.
5.6.- Ejercicios.
Enunciados.
Soluciones.
En este tema estudiamos la estructura metrica de los espacios R
n
, es decir, las cuestiones
relacionadas con distancias y angulos con especial enfasis en la ortogonalidad entre vectores
y entre subespacios vectoriales. En el estudio de la resolucion de sistemas de ecuaciones
lineales, el algebra de matrices, etc., podamos considerar coecientes reales o complejos de
manera indistinta sin afectar ni a los conceptos ni a los resultados. Aqu no sucede lo mismo.
El hecho de considerar vectores reales es esencial. Para poder considerar conceptos metricos
en los espacios C
n
, de vectores de coordenadas complejas, habra que considerar la denici on
apropiada (coherente) de producto escalar de vectores complejos, que se suele denominar
producto hermtico y habra que modicar el enunciado de algunas propiedades. Al aplicar
dicha denici on, de vectores complejos, a vectores reales nos dara la denici on usual que
vemos a continuacion y que el alumno conoce en dimensiones dos y tres.
Adem as de considerar las deniciones y propiedades basicas estudiaremos algunos tipos de
matrices directamente relacionadas con la estructura metrica de los espacios de coordenadas
reales (matrices de proyecci on ortogonal sobre un subespacio, matrices ortogonales,...)
125
126 Tema 5.- Ortogonalidad y mejor aproximacion.
5.1.- El producto escalar. Norma, distancia, angulos y ortogonalidad.
El Producto escalar de dos vectores reales x, y R
n
es el n umero real
x y = x
1
y
1
+ x
2
y
2
+ + x
n
y
n
R.
5.1.1.- Norma, distancia, angulos y ortogonalidad.
Deniciones. Consideremos x, y R
n
.
Se denomina Norma de un vector x R
n
al n umero real no-negativo
||x|| =
_
|x
1
|
2
+ +|x
n
|
2
=
x x 0.
Se denomina Distancia entre dos vectores x, y R
n
al n umero real no-negativo
d(x, y) = ||x y|| .
Ortogonalidad.
(a) Se dice que dos vectores x, y R
n
son ortogonales (x y) si x y = x
T
y = 0.
(b) Se dice que un conjunto de vectores {v
1
, . . . , v
m
} de R
n
es un conjunto ortogonal
si cada uno de los vectores v
k
es ortogonal a todos los demas,
v
k
v
j
= 0, j = k.
(c) Se dice que un conjunto de vectores {v
1
, . . . , v
m
} de R
n
es un conjunto orto-
normal si es un conjunto ortogonal y cada uno de los vectores v
k
tiene norma
uno,
v
k
v
j
= 0, j = k; ||v
1
|| = = ||v
m
|| = 1.
Las propiedades del producto escalar, la norma, la distancia y la ortogonalidad son co-
nocidas por el alumno para vectores en R
2
y en R
3
. En los espacios R
n
, las propiedades son
esencialmente las mismas. Notemos que si considerasemos dichos conceptos de forma inde-
pendiente de un sistema de referencia, en cada uno de ellos aparecen involucrados uno o dos
vectores. Algunas de las propiedades del producto escalar pueden obtenerse directamente
del hecho de que el producto escalar de dos vectores puede expresarse como un producto
matricial, vector-la por vector-columna, x y = x
T
y = y
T
x. Es inmediato comprobar que
se verican las siguientes propiedades:
Propiedades.-
(1) El producto escalar es simetrico: x y = y x.
(2) El producto escalar es lineal en cada variable, es decir, siendo x, x
, y, y
R
n
y
, , , R,
(x + x
) y = x y + x
y,
x (y + y
) = x y + x y
.
(3) ||x|| = 0 x = 0.
(4) ||x|| = || ||x|| , R, x R
n
.
Notemos que el producto escalar No es asociativo. Es decir, puede suceder que (x y)z =
x(y z). De hecho es lo m as probable. Ejercicio. Busca un ejemplo e interpreta geometrica-
mente el resultado.
Matematicas I. Ingeniera Civil
5.2.- El complemento ortogonal de un subespacio. 127
5.1.2.- Desigualdades y teorema de Pitagoras.
Teorema. Sean x, y R
n
(1) Desigualdad de Cauchy-Schwartz: |x y| ||x|| ||y||.
(2) Desigualdad triangular: ||x + y|| ||x|| +||y|| ( ||x y|| ||x|| +||y||)
(3) Teorema de Pitagoras: x y ||x + y||
2
= ||x||
2
+||y||
2
.
El angulo (los angulos) determinado por dos vectores no-nulos x, y R
n
puede caracte-
rizarse (denirse) mediante la igualdad
x y = ||x|| ||y|| cos().
Los resultados clasicos de la geometra metrica plana, como el Teorema del seno o el Teorema
del coseno, son v alidos cuando consideramos vectores ndimensionales.
5.2.- El complemento ortogonal de un subespacio.
Denicion. (El complemento ortogonal de un subespacio) Dado un subespacio vectorial S
de R
n
se denomina complemento ortogonal de S al conjunto
S
= {v R
n
: v u u S} .
Es decir, S
esta formado por todos los vectores que son ortogonales a todos los vectores de
S. Por tanto, el complemento ortogonal del subespacio nulo
_
0
_
es R
n
puesto que cualquier
vector es ortogonal al vector nulo. Por otra parte, el complemento ortogonal del espacio total
R
n
es el subespacio nulo, puesto que el vector nulo (de R
n
) es el unico que es ortogonal a
todos los vectores de R
n
.
Ejemplos. Cuando se trabaja con el complemento ortogonal de un subespacio es conve-
niente tener presente como se puede caracterizar dicho complemento ortogonal cuando el
subespacio viene dado en forma parametrica o cuando viene dado en forma implcita. En R
2
,
un subespacio vectorial de dimension 1 es una recta que pasa por el origen y su complemento
ortogonal sera (como es natural) la recta que pasa por el origen (es un subespacio vectorial)
y es perpendicular a la recta dada. En R
3
, un subespacio vectorial de dimension 1 es una
recta que pasa por el origen. Su complemento ortogonal sera el plano que pasa por el origen
(es un subespacio vectorial) y es perpendicular a la recta dada. Un subespacio vectorial de
dimension 2 es un plano que pasa por el origen. Su complemento ortogonal sera la recta que
pasa por el origen (es un subespacio vectorial) y es perpendicular al plano dado.
(1) Consideremos un subespacio de dimension 1 en R
2
, dado en forma parametrica, es decir,
una recta que pasa por el origen de coordenadas, dada por un vector direcci on v
1
. Por
ejemplo, para v
1
= [2, 1]
T
S = Gen {v
1
} = {v = v
1
: R}
_
x
1
= 2
x
2
=
,
Matem aticas I. 2012-2013
su complemento ortogonal estar a formado por los vectores v = [x
1
, x
2
]
T
R
2
que son
ortogonales a todos los vectores de la forma v
1
, R
v S
(v
1
) v = 0, R v
1
v = 0 2x
1
x
2
= 0.
Es decir, el complemento ortogonal S
esta formado por los vectores v = [x

1
, x
2
]
T
R
2
cuyas coordenadas verican la ecuacion 2x
1
x
2
= 0. Por tanto, S
es un subespacio
vectorial (de dimension 1) que viene dado en forma implcita y los coecientes de la
ecuacion implcita son las coordenadas del vector direccion de S. Si hubieramos consi-
derado otro vector direccion de S (que sera un m ultiplo no-nulo de v
1
), habramos
obtenido una ecuacion equivalente.
(2) Si consideramos un subespacio vectorial S de dimension 1 en R
n
, es decir una recta que
pasa por el origen, generada por un vector no-nulo v
1
R
n
S = Gen
_
_
v
1
=
_
_
a
1
.
.
.
a
n
_
_
_
_
su complemento ortogonal estar a formado por los vectores v = [x
1
, . . . , x
n
]
T
R
n
cuyas coordenadas verican la ecuacion
v
1
v = 0 a
1
x
1
+ + a
n
x
n
= 0
con lo cual S
es un subespacio vectorial (de dimension n1) que viene dado mediante

una ecuacion implcita y los coecientes de dicha ecuacion son las coordenadas del
vector direccion de S.
Teorema. Sea S un subespacio vectorial de R
n
.
(1) S
es un subespacio vectorial de R
n
.
(2)
_
S
= S.
(3) El vector nulo es el nico vector de R
n
que pertenece a la interseccin de S con S
.
(4) Si S = Gen {v
1
, . . . , v
p
}, entonces
v S
v v
1
, . . . , v v
p
.
Ejemplo. Antes hemos obtenido el complemento ortogonal de un subespacio de R
n
de dimension 1, que era un subespacio vectorial de dimension n 1 (estos subespacios se
suelen denominar hiperplanos). Las propiedades anteriores permiten obtener f acilmente el
complemento ortogonal de un subespacio de dimension n 1 dado en forma implcita
W a
1
x
1
+ + a
n
x
n
= 0
(para que esta ecuacion dena un subespacio de dimension 1 alguno de los coecientes
a
1
, . . . , a
n
tiene que ser no nulo). Puesto que, como vimos antes,
W = S
siendo S = Gen
_
_
_
_
a
1
.
.
.
a
n
_
_
_
_
5.3.- Bases ortogonales. 129
tenemos que W
=
_
S
= S. Es decir, de manera inmediata obtenemos W
en forma
parametrica.
El hecho de expresar el complemento ortogonal de una u otra forma parametrica/implcita
dependiendo de como venga expresado el subespacio vectorial:
S en forma parametrica S
en forma implcita
S en forma implcita S
en forma parametrica
queda reejado con el siguiente Teorema.
Teorema. (Los cuatro subespacios asociados a una matriz) Sea A una matriz real m n.
Se verica:
[Col (A)]
= Nul (A
T
), [Nul (A)]
= Col (A
T
).
El espacio Col (A
T
) se suele denominar espacio la de la matriz A.
Notemos que en lo que se reere a las dimensiones de los complementos ortogonales
tenemos
dim
_
[Col (A)]
_
= dim
_
Nul (A
T
)
_
= m pivotes de A
T
= mrang (A) = mdim (Col (A)) .
Puesto que cualquier subespacio vectorial se puede expresar como el espacio columna de una
matriz tenemos que para cualquier subespacio vectorial S de R
m
se verica
dim
_
S
_
= mdim(S).
5.3.- Bases ortogonales.
5.3.1.- Bases ortogonales de un subespacio.
Una base ortogonal de un subespacio vectorial S es una base de S formada por vectores
que son ortogonales dos a dos. Para calcular las coordenadas de un vector respecto de una
base generica de S hay que resolver un sistema de ecuaciones lineales cuya soluci
on son las
coordenadas del vector respecto de dicha base. Como veremos en la seccion 6.4, la principal
ventaja, de tener una base ortogonal de un subespacio, es que el calculo de las coordenadas
de un vector respecto de dicha base es particularmente sencillo y se tiene una f ormula para
dichas coordenadas (ver el desarrollo de Fourier). Una base ortonormal de un subespacio
vectorial es una base formada por vectores que son ortogonales dos a dos y unitarios (con
norma igual a 1).
Teorema. Si {v
1
, v
2
, . . . , v
r
} es un conjunto de vectores no-nulos ortogonales dos a dos,
entonces son linealmente independientes.
Cuando se tiene un conjunto ortogonal de vectores no-nulos y se normalizan (se divide
cada uno por su norma), obtenemos un conjunto ortonormal de vectores que formar an una
base ortonormal del subespacio vectorial que generan. Vamos a considerar ahora las pro-
piedades de las matrices cuyas columnas son ortonormales. Mas adelante veremos el caso
particular de las matrices cuadradas cuyas columnas son ortonormales.
Proposici on. Sea U = [u
1
, . . . , u
n
] una matriz real mn.
(1) U tiene columnas ortonormales U
T
U = I.
(2) Si U tiene columnas ortonormales, entonces conserva angulos y distancias. Es decir
(Ux) (Uy) = x y, x, y R
n
. En particular,
(a) ||Ux|| = ||x|| , x R
n
.
(b) Ux Uy x y.
5.3.2.- El metodo de Gram-Schmidt.
En los temas anteriores hemos visto como obtener una base de un subespacio vectorial
a partir de un conjunto de vectores que genere dicho subespacio vectorial. El metodo de
ortogonalizaci on de Gram-Schmidt, que vamos a describir, permite construir, de manera
progresiva, una base ortogonal de un subespacio vectorial a partir de una base de dicho
subespacio e incluso de un conjunto de vectores que genere el subespacio, sin necesidad de
que los vectores sean linealmente independientes.
Partiendo de una base {v
1
, v
2
, . . . , v
p
} de un subespacio S, el metodo consiste en gene-
rar uno a uno vectores que son ortogonales a los construidos. Denotamos por S
1
, S
2
, los
subespacios vectoriales denidos por
S
1
= Gen {v
1
} , S
2
= Gen {v
1
, v
2
} , . . . , S
p
= Gen {v
1
, v
2
, . . . , v
p
} = S.
El metodo de Gram-Schmidt consiste en generar los vectores:
u
1
= v
1
S
1
,
u
2
= v
2
proy
S
1
(v
2
) S
2
, es decir, u
2
es el unico vector de la forma
u
2
= v
2
+ u
1
que es ortogonal a u
1
,
u
3
= v
3
proy
S
2
(v
3
) S
3
, es decir, u
3
es el unico vector de la forma
u
3
= v
3
+ u
1
+ u
2
que es ortogonal a u
1
y a u
2
,
. . .
Notemos que, puesto que los vectores {v
1
, v
2
, . . . , v
p
} son linealmente independientes, los
subespacios
S
1
S
2
S
p
= S
son todos distintos (dim(S
k
) = k, k = 1, 2, . . . , p), los vectores u
1
, u
2
, . . . , u
p
son todos no-
nulos y linealmente independientes y se verica que
S
1
= Gen v
1
= Genu
1
,
S
2
= Gen {v
1
, v
2
} = Gen {u
1
, u
2
} ,
S
3
= Gen {v
1
, v
2
, v
3
} = Gen {u
1
, u
2
, v
3
} = Gen {u
1
, u
2
, u
3
} ,
.
.
.
.
.
.
S
p
= Gen {v
1
, . . . , v
p
} = = Gen {u
1
, , u
p
} .
Teorema (Metodo de ortogonalizaci on de Gram-Schmidt). Consideremos una base
{v
1
, v
2
, . . . , v
p
} de un subespacio vectorial S de R
n
. Entonces, los siguientes vectores estan
bien denidos
5.3.2.- El metodo de Gram-Schmidt. 131
u
1
= v
1
u
2
= v
2
v
2
u
1
||u
1
||
2
u
1
u
3
= v
3
v
3
u
1
||u
1
||
2
u
1
v
3
u
2
||u
2
||
2
u
2
.
.
.
u
p
= v
p
v
p
u
1
||u
1
||
2
u
1

v
p
u
p1
||u
p1
||
2
u
p1
y son no-nulos y ortogonales dos a dos. Adem as, para cada k = 1, . . . , p, {u
1
, u
2
, . . . , u
k
}
es una base ortogonal de S
k
= Gen {v
1
, v
2
, . . . , v
k
}. En particular {u
1
, u
2
, . . . , u
p
} es una
base ortogonal de S = Gen {v
1
, v
2
, . . . , v
p
}.
Observaciones.
(a) Si el objetivo es obtener una base ortonormal de S, una vez que se ha obtenido una base
ortogonal basta normalizar los vectores obtenidos.
(b) En cada paso del metodo de Gram-Schmidt que acabamos de describir podramos mul-
tiplicar (o dividir) el vector obtenido por un coeciente no-nulo y seguir los calculos
con dicho vector.
(c) Que sucede al aplicar el metodo de Gram-Schmidt a un conjunto de vectores linealmente
dependientes?
5.3.3.- Matrices ortogonales.
Un caso particularmente importante de matrices reales con columnas ortonormales lo
constituyen las matrices cuadradas con dicha propiedad.
Denicion. (Matriz ortogonal) Se denomina matriz ortogonal a toda matriz Q real cua-
drada no-singular cuya inversa coincide con su traspuesta, Q
1
= Q
T
.
Ejercicio. Prueba las siguientes propiedades de las matrices ortogonales
(1) Si Q es ortogonal =det (Q) = 1
(2) Q es ortogonal Q
T
es ortogonal.
(3) Si Q
1
y Q
2
son ortogonales, entonces Q
1
Q
2
es ortogonal.
Proposici on. Sea Q una matriz real cuadrada n n. Son equivalentes:
(1) Q es una matriz ortogonal.
(2) Las n columnas de Q son ortonormales (y por tanto forman una base ortonormal de
R
n
).
(3) Las n las de Q son ortonormales (y por tanto forman una base ortonormal de R
n
).
Observaci on.- Notemos que el que las columnas de una matriz (real) sean ortonormales es equi-
valente a que lo sean las las s olo en el caso de una matriz cuadrada. Una matriz real no cuadrada
puede tener columnas (o las) ortonormales sin serlo sus las (o columnas). Por ejemplo, las ma-
trices
_
_
1 0
0 1
0 0
_
_
,
_
_
1
2
0
0 1
1
2
0
_
_,
_
_
1
3
1
2
1
2
1
3
0
_
_
tienen sus columnas ortonormales pero no sus las. Las traspuestas tienen las ortonormales pero
no columnas.
5.4.- La proyeccion ortogonal.
5.4.1.- Proyecci on ortogonal sobre un subespacio.
Si consideramos el subespacio vectorial S, de dimension uno (una recta), generado por
un vector, u
1
, no-nulo, S = Gen {u
1
}, la proyecci on ortogonal de un vector v R
n
sobre S
sera el vector u = u
1
S que verica que
v u = v u
1
es ortogonal a S. Es decir, tenemos que determinar con la condici on de que v u
1
sea
ortogonal a u
1
,
(v u
1
) u
1
= v u
1
||u
1
||
2
= 0 =
v u
1
||u
1
||
2

= u = proy
S
(v) =
v u
1
||u
1
||
2
u
1
,
_
=||u|| =
v u
1
||u
1
||
_
.
No hay que confundir el vector proyecci on ortogonal de v sobre (la recta que genera) otro,
u
1
, que es un vector
v u
1
||u
1
||
2
u
1
, con la magnitud de dicha proyecci on ortogonal,
v u
1
||u
1
||
, que
es un n umero real.
Para un subespacio de dimension arbitraria puede darse una expresion de la proyecci on
ortogonal de un vector sobre dicho subespacio cuando disponemos de una base ortogonal de
dicho subespacio. Considerando una base ortonormal puede darse una expresion comoda de
la matriz de la proyecci on ortogonal.
Teorema (de la descomposici on ortogonal). Sea S un subespacio vectorial de R
n
. Dado
cualquier vector v R
n
existe un unico vector u S (llamado proyecci on ortogonal de v
sobre S) tal que vu S
. De hecho, si {u
1
, u
2
, . . . , u
r
} es una base ortogonal de S, entonces
la proyecci on ortogonal de v sobre S es
u := proy
S
(v) =
v u
1
||u
1
||
2
u
1
+ +
v u
r
||u
r
||
2
u
r
.
y la proyecci on ortogonal de v sobre S
es
w = v u.
Notemos que:
5.4.- La proyecci on ortogonal. 133
Si v S, entonces proy
S
(v) = v y proy
S
(v) = 0.
Notemos que proy
S
(v) = v u = v proy
S
(v), esto es
proy
S
(v) + proy
S
(v) = v.
Cada sumando de la expresion
v u
1
||u
1
||
2
u
1
+ +
v u
r
||u
r
||
2
u
r
nos da la proyecci on ortogonal del vector v sobre el subespacio generado por el corres-
pondiente vector u
k
.
El vector u = proy
S
(v) verica que ||u||
2
||v||
2
y expresando ||u||
2
en terminos de
la base ortogonal dada esta desigualdad es la desigualdad de Bessel considerada en la
siguiente proposicion.
Corolario. Sea {u
1
, u
2
, . . . , u
r
} una base ortogonal de un subespacio S de R
n
. Entonces
las coordenadas de un vector u S respecto de dicha base vienen dadas por
u u
k
||u
k
||
2
, es decir,
se verica que
u =
u u
1
||u
1
||
2
u
1
+ +
u u
r
||u
r
||
2
u
r
.
La expresion anterior se suele denominar desarrollo de Fourier de v respecto a la base
{u
1
, u
2
, . . . , u
r
}.
Corolario. (Matriz de una proyecci on ortogonal) Sea S un subespacio vectorial de R
n
.
(a) Si {u
1
, u
2
, . . . , u
r
} es una base ortonormal de S, la proyecion ortogonal de un vector
v R
n
sobre S es
u := proy
S
(v) = (v u
1
) u
1
+ + (v u
r
) u
r
.
(b) Siendo U una matriz cuyas columnas forman una base ortonormal de S, la matriz de la
proyecci on ortogonal sobre S es P
S
= UU
T
, es decir
proy
S
(v) = UU
T
v, v R
n
.
Aunque puedan considerarse distintas matrices U como en el enunciado, la matriz P
S
=
UU
T
que representa a la proyecci on ortogonal, respecto a la base can onica, es unica. Las
propiedades caractersticas de las matrices de proyecci on ortogonal son:
P
2
S
= P
S
,
_
UU
T
_
2
= U(U
T
U)U
T
= UIU
T
= UU
T
, y
P
S
es simetrica,
_
UU
T
_
T
= (U
T
)
T
U
T
= UU
T
.
5.4.2.- El teorema de la mejor aproximacion.
El teorema de la mejor aproximacion resuelve el problema de la mnma distancia de
un punto a un subespacio vectorial. Dado un subespacio vectorial S de R
n
y un pun-
to/vector x R
n
, se trata de minimizar la distancia de x a un punto/vector generico w S,
min {x w : w S}, y de obtener el punto/vector donde se alcanza dicho mnimo. Este
problema se puede plantear como un problema de optimizacion en varias variables (c alculo
diferencial de varias variables) sin m as que expresar un vector generico w S como combi-
nacion lineal arbitraria de los vectores de un base de S. El teorema de la mejor aproximacion
nos dira que es equivalente resolver el problema de mnima distancia (la mejor aproximacion
a x desde S) que el problema de la proyecci on ortogonal sobre S. La mnima distancia de x
a S se alcanza en proy
S
(x) (y en ning un otro punto).
Teorema (de la mejor aproximacion). Sea S un subespacio vectorial de R
n
y conside-
remos un vector x R
n
y un vector y S. Son equivalentes:
(a) y es la proyecci on ortogonal de x sobre S, es decir,
y S, x y S
.
(b) y es la mejor aproximacion de x desde S, es decir,
y S, ||x y|| ||x w|| para todo w S.

O
x
y
w
S
S
Sea y = proy
S
(x) y sea w S. Pues-
to que
xw = (xy)+(yw), xy S
, yw S,
aplicando el Teorema de Pit agoras
tenemos
||x w||
2
= ||x y||
2
+||y w||
2
||x y||
2
.
5.5.- Problemas de mnimos cuadrados. Ecuaciones normales de
Gauss
En terminos generales, resolver un problema en el sentido de los mnimos cuadrados es
sustituir un problema en el que hay que resolver un sistema de ecuaciones (que no tiene
solucion) por el problema de minimizar una suma de cuadrados.
Ejemplo. El problema de la regresion lineal. Si consideramos dos magnitudes, x e
y, de las que suponemos que estan relacionadas mediante una igualdad del tipo y = ax + b,
donde tenemos que determinar a y b mediante la obtencion de resultados experimentales, y
dichos resultados son
5.5.- Problemas de mnimos cuadrados. Ecuaciones normales de Gauss 135
x x
1
x
2
x
n
y y
1
y
2
y
n
los valores a y b los obtendremos de la resolucion del sistema de ecuaciones lineales
ax
1
+ b = y
1
ax
2
+ b = y
2

ax
n
+ b = y
n
_
_
x
1
1
x
2
1
.
.
.
.
.
.
x
n
1
_
_
_
a
b
_
=
_
_
y
1
y
2
.
.
.
y
n
_
_
.
Lo habitual es que un sistema de ecuaciones como el anterior no tenga solucion. Resolver el
sistema anterior en el sentido de los mnimos cuadrados consiste en determinar los valores a
y b para los cuales la suma de cuadrados
(ax
1
+ b y
1
)
2
+ (ax
2
+ b y
2
)
2
+ + (ax
n
+ b y
n
)
2
es mnima (si hubiera solucion dicho valor mnimo sera cero). Puesto que esta suma de
cuadrados es el cuadrado de la norma del vector
_
_
x
1
1
x
2
1
.
.
.
.
.
.
x
n
1
_
_
_
a
b
_
_
y
1
y
2
.
.
.
y
n
_
_
y los vectores de la forma
_
_
x
1
1
x
2
1
.
.
.
.
.
.
x
n
1
_
_
_
a
b
_
a, b R
forman el espacio columna S de la matriz considerada, resolver el sistema en mnimos cua-
drados es determinar el vector de S m as cercano al termino independiente considerado y
resolver el sistema (que sera compatible) con ese nuevo termino independiente.
Para un sistema generico de ecuaciones lineales Ax = b, resolverlo en el sentido de los
mnimos cuadrados es determinar el vector (o vectores) x R
n
para los cuales
||Ax b|| es mnima.
Puesto que los vectores Ax recorren el espacio columna de A (cuando x recorre R
n
), ||Ax b||
sera mnima para los vectores x R
n
tales que Ax es igual a la proyecci on ortogonal de b
sobre el espacio Col (A).
R
n
R
m
O
O
x
b
proy
S
(b)
A
Ax
Col (A)
Teorema. Consideremos un sistema de ecuaciones Ax = b, A matriz real m n, b R
m
,
S = Col (A) y sea x R
n
. Son equivalentes:
(a) x es solucion en mnimos cuadrados del sistema Ax = b, es decir,
||A x b|| ||Ax b|| , x R
n
.
(b) x verica A x = proy
S
(b).
(c) x verica las ecuaciones normales de Gauss A
T
A x = A
T
b.
Observaciones.
(a) El sistema de ecuaciones Ax = proy
S
(b) (sistema m n) y el sistema A
T
Ax = A
T
b
(sistema n n) son siempre compatibles y tienen el mismo conjunto de soluciones.
(b) El sistema Ax = proy
S
(b) sera compatible determinado (es decir el problema en mnimos
cuadrados tendr a solucion unica) si y solo si el sistema homogeneo asociado Ax = 0
tiene solucion unica. Por tanto,
el sistema Ax = b tiene solucion
unica en mnimos cuadrados

las columnas de A son linealmente
independientes (rango(A) = n).
5.6.- Ejercicios. 137
5.6.- Ejercicios.
5.6.1.- Enunciados.
Ejercicio 1. Sea u = [1, 2, 3]
T
.
(1) Describe geometricamente el conjunto de vectores v R
3
que verican, respectivamente,
(a)
_
v u = 0
||v|| = 1
_
, (b)
_
v u = 2
||v|| = 1
_
, (c)
_
v u = 4
||v|| = 1
_
, (d)
_
v u = 2
||v|| = 2/
14.
_
.
(2) Calcula el radio y el centro de la circunferencia dada por las siguientes ecuaciones
_
v u = 3
||v|| = 1
_
.
Ejercicio 2. Halla una base y unas ecuaciones implcitas de E
y de F
siendo E y F los
subespacios
E = Gen
_
_
_
_
1
0
2
1
_
_
,
_
_
2
1
2
3
_
_
,
_
_
0
1
2
1
_
_
_
_
y F
_
_
_
2x + y + 3z t = 0
3x + 2y 2t = 0
3x + y + 9z t = 0
_
_
_
.
Ejercicio 3. Expresa el vector (1, 3, 1, 4)
T
como suma de dos vectores u + v siendo u
proporcional a (2, 1, 0, 1)
T
y v u.
Ejercicio 4. Halla la proyecci on ortogonal de los siguientes vectores sobre los subespacios
que se indican:
(1) (4, 1, 3, 2)
T
sobre el subespacio denido por x
1
+ x
2
+ x
3
+ x
4
= 0.
(2) (1, 1, 1, 1)
T
sobre el subespacio de R
4
dado por:
E
_
x y + z 2t = 0,
y + z = 0.
(3) (3, 4, 5)
T
sobre el subespacio f(E) siendo f la aplicacion lineal dada por la matriz
A =
_
_
1 0 1
1 1 0
0 1 1
_
_
y E el subespacio de R
3
dado por x y z = 0.
Ejercicio 5. Demuestra:
(1) El producto de matrices ortogonales es ortogonal.
(2) La suma de matrices ortogonales puede no ser ortogonal.
Ejercicio 6. Dadas las bases ortonormales de R
2
B
1
=
_
u
1
=
_
1/
2, 1/
2
_
T
, u
2
=
_
1/
2, 1/
2
_
T
_
y
B
2
=
_
w
1
=
_
1/2,
3/2
_
T
, w
2
=
_
3/2, 1/2
_
T
_
halla la matriz correspondiente al cambio de una de esas bases a la otra. Comprueba que la
matriz de paso es ortogonal.
Ejercicio 7. Halla el vector perteneciente al subespacio de R
4
generado por los vectores
(2, 0, 1, 2)
T
, (1, 2, 2, 0)
T
y(1, 2, 0, 2)
T
que esta m as cerca del vector (1, 1, 1, 1)
T
.
Ejercicio 8. Halla la matriz de la proyecci on ortogonal sobre cada uno de los siguientes
subespacios de R
4
:
(1) el subespacio generado por (0, 2, 1, 0)
T
y (1, 1, 0, 1)
T
.
(2) el subespacio generado por (0, 0, 2, 1)
T
y (1, 1, 1, 0)
T
.
(3) Sobre E y sobre E
, siendo E
_
x 3y + z + t = 0
2x 5y + z + 2t = 0
Comprueba que, como debe
ser, la suma de ambas matrices vale I.
Ejercicio 9. Dado el subespacio S R
3
denido por x
1
2x
2
+ 2x
3
= 0, se pide:
(a) Halla la matriz de la proyecci on ortogonal sobre S. Cual es la matriz de la proyecci on
ortogonal sobre S
?
(b) Determina una base de S
.
(c) Demuestra que Col (A) = S, siendo A =
_
_
2 0
0 1
1 1
_
_
.
(d) Halla el vector de S que dista menos de v = (1, 1, 1)
T
.
Ejercicio 10. Aplica el metodo de Gram-Schmidt a:
(a) La base de R
4
,
_
(1, 0, 1, 0)
T
, (1, 1, 0, 0)
T
, (0, 1, 1, 1)
T
, (0, 1, 1, 0)
T
_
.
(b) Las columnas de las matrices
A =
_
_
1 1
0 1
1 0
_
_
, B =
_
_
1 1
1 2
2 1
_
_
.
Ejercicio 11. La proyecci on ortogonal del vector v = (5, 2, 3)
T
sobre la recta x = y, y = z
es:
(1, 1, 1)
T
.
(3, 3, 3)
T
.
(2, 2, 2)
T
.
Ejercicio 12. Halla una base ortonormal de Col (A) y otra de Nul (A) siendo
A =
_
_
1 1 0
0 1 1
1 1 1
1 1 1
_
_
.
Ejercicio 13. Consideremos el subespacio E denido mediante
E = Gen
_
(a, 0, 0, 0)
T
, (a, a, b, 0)
T
, (a, b, a, 1)
T
_
, a, b R.
(a) Hallar una base ortonormal del subespacio E seg un los valores de a y b.
(b) Hallar la matriz de la proyecci on ortogonal sobre E, cuando a = 0.
(c) Calcular los valores de los par ametros a y b tales que el subespacio dado por las ecua-
ciones
_
_
_
x
1
= 0
5x
1
+ x
2
+ 3x
3
= 0
2x
1
+ 3x
2
x
3
+ x
4
= 0
sea ortogonal a E.
Ejercicio 14. Consideremos los vectores y el subespacio vectorial dados por
v
1
=
_
_
1
1
3
_
_
, v
2
=
_
_
2
3
_
_
, u =
_
_
0
1
_
_
; S x
1
+ x
2
+ x
3
= 0.
Determina sabiendo que proy
S
(v
1
) = proy
S
(v
2
) = u. (un dibujo puede ayudar)
Ejercicio 15. Sean S
1
y S
2
los subespacios vectoriales de R
4
denidos mediante
S
1
x
1
+ x
2
+ x
3
+ x
4
= 0, y S
2
x
1
+ x
2
x
3
x
4
= 0.
Determina el vector v R
4
cuyas proyecciones ortogonales sobre S
1
y S
2
son, respectiva-
mente,
u
1
= proy
S
1
(v) =
_
_
3
5
5
3
_
_
, u
2
= proy
S
2
(v) =
_
_
7
1
7
1
_
_
Ejercicio 16. Sea A una matriz 4 3 tal que
Nul (A) = Gen
_
_
_
_
_
3
5
1
_
_
_
_
_
, Col (A)
= Gen
_
_
v
1
=
_
_
1
1
1
0
_
_
, v
2
=
_
_
2
1
0
1
_
_
_
_
.
(a) Calcula la proyecci on ortogonal del vector v = [1 1 1 1]
T
R
4
sobre el subespacio
Col (A).
(b) Determina la matriz A sabiendo que es de la forma A =
_
_
1 0
2 1

_
_
.
Ejercicio 17. Resolver en el sentido de los mnimos cuadrados los siguientes sistemas de
ecuaciones
(1) x = 1, x = 7, x = 3, x = 12.
(2) x = a
1
, x = a
2
, ..., x = a
n
, siendo a
1
, a
2
, ..., a
n
n umeros reales. Que se obtiene cuando
alguno de los valores a
k
aparece repetido?
(3) Ax = b siendo A =
_
1 1
1 1
_
y b =
_
2
4
_
.
Ejercicio 18. Resuelve en el sentido de los mnimos cuadrados los dos sistemas equivalentes
siguientes (que tendran las mismas soluciones exactas si fueran compatibles)
_
x
1
+ x
2
= 3
2x
1
+ 2x
2
= 4
_
y
_
x
1
+ x
2
= 3
x
1
+ x
2
= 1
_
.
Ejercicio 19. Dados el subespacio E = Gen
_
[1, 0, 0, 1]
T
, [0, 1, 0, 2]
T
, [0, 0, 1, 1]
T
_
y la ma-
triz
A =
_
_
a
1
b
1
a
2
2
a
3
b
2
2 b
3
_
_
.
(a) Calcular una base de E
.
(b) Hallar la matriz de la proyecci on ortogonal sobre E.
(c) Calcular A sabiendo que Col (A)) esta contenido en E
.
(d) Resolver en el sentido de los mnimos cuadrados, el sistema Ax = b con b = (1, 1, 0, 0)
t
.
Ejercicio 20. Por el metodo de los mnimos cuadrados, ajustar una par abola, y = ax
2
+
bx + c, a los puntos (1, 3), (1, 1), (1, 2) y (1, 1).
Ejercicio 21. Resolviendo el sistema sobredeterminado que se obtiene de la ecuacion general
de la circunferencia x
2
+y
2
+ax +by +c = 0, calcular la circunferencia que mejor se ajuste,
en el sentido de los mnimos cuadrados a los puntos (0, 0), (1, 0), (0, 1) y (1, 1), indicando
las coordenadas del centro y el radio de la misma.
Ejercicio 22. Consideremos el sistema
_
_
0 1
1 1
1 1
2 1
_
_
_
x
y
_
=
_
_
_
_
1
1
3
3
_
_
_
_
.
Sus ecuaciones normales de Gauss son:
_
6 1
1 4
_ _
x
y
_
=
_
4
8
_
.
_
6 2
2 4
_ _
x
y
_
=
_
2
4
_
.
_
6 2
2 4
_ _
x
y
_
=
_
4
8
_
.
Ejercicio 23. Considera los vectores v
1
, v
2
, v
3
y v
4
de R
4
y la matriz C dados por
v
1
=
_
_
1
1
2
0
_
_
, v
2
=
_
_
0
1
2
2
_
_
, v
3
=
_
_
1
1
2
3
_
_
, v
4
=
_
_
1
8
1
2
_
_
; C =
_
_
v
1
v
2
_
_
.
(a) Calcular la matriz de la proyecci on ortogonal sobre S = Gen {v
1
, v
2
, v
3
}, el vector de S
m as cercano a v
4
y la distancia de v
4
a S.
(b) Resolver, en el sentido de los mnimos cuadrados, el sistema Cx = v
3
.
5.6.2.- Soluciones.
Ejercicio 1. (1)
_
v u = 0
||v|| = 1
Corte de la esfera de centro el origen y radio 1 con el plano
x + 2y + 3z = 0. Circunferencia de centro el origen y radio 1.
_
v u = 2
||v|| = 1
x + 2y + 3z = 2. Circunferencia de centro C = (
2
14
,
4
14
,
6
14
) y radio
_
10
14
.
_
v u = 4
||v|| = 1
x + 2y + 3z = 4. Nada.
_
v u = 2
||v|| =
2
14
.
Corte de la esfera de centro el origen y radio 2/
14
con el plano x + 2y + 3z = 2. Un punto.
(2) Radio r =
_
5
14
, Centro C = (
3
14
,
6
14
,
9
14
).
Ejercicio 2.
E
Base
_
_
_
_
2
2
1
0
_
_
,
_
_
1
1
0
1
_
_
_
_
, Ecuaciones implcitas
_
x
1
+ 2x
3
+ x
4
= 0,
x
2
2x
3
+ x
4
= 0.
F
Base
_
_
v
1
=
_
_
2
1
3
1
_
_
, v
2
=
_
_
3
2
0
2
_
_
_
_
, Ecuaciones implcitas
_
6x + 9y + z = 0,
y + t = 0.
Ejercicio 3.
_
_
1
3
1
4
_
_
= u + v, u =
3
2
_
_
2
1
0
1
_
_
, v =
_
_
2
3
2
1
5
2
_
_
.
Ejercicio 4. (1) Para el vector v dado, tenemos
v =
_
_
4
1
3
2
_
_
proy(v) =
1
2
_
_
5
1
3
7
_
_
.
(2) Para el vector dado tenemos,
proy(v) =
1
7
_
_
8
1
1
5
_
_
.
(3) En este caso la proyecci on viene dada por
proy(
_
_
3
4
5
_
_
) =
1
11
_
_
47
2
41
_
_
.
Ejercicio 5. (1) Si tomamos dos matrices ortgonales Q
1
y Q
2
de orden n, se verica que
Q
1
1
= Q
T
1
y Q
1
2
= Q
T
2
y, por tanto, la matriz producto Q = Q
1
Q
2
es ortogonal pues se verica que
QQ
T
= (Q
1
Q
2
) (Q
1
Q
2
)
T
= (Q
1
Q
2
)
_
Q
T
2
Q
T
1
_
= Q
1
Q
2
Q
T
2
Q
T
1
= Q
1
Q
T
1
= I.
(2) Las matrices Q
1
= I y Q
2
= I son ortogonales, pero su suma Q
1
+ Q
2
= 0 no lo es.
Ejercicio 6. Una de las matrices de cambio de base es
P
B
2
B
1
=
1
2
2
_
1 +
3 1 +
3
1
3 1 +
3
_
que es una matriz ortogonal porque los vectores columna forman una base ortonormal de
R
2
. La otra matriz de cambio de base es la inversa (o traspuesta) de la matriz anterior
P
B
1
B
2
=
_
P
B
2
B
1
_
1
=
_
P
B
2
B
1
_
T
=
1
2
2
_
1 +
3 1
3
1 +
3 1 +
3
_
.
Ejercicio 7. Teniendo en cuenta el Teorema de la mejor aproximacion, de los vectores
de un subespacio vectorial S, el que esta m as cerca de un vector dado b es el vector proyecci on
ortogonal de b sobre S, es decir, el vector pedido es
proy
S
(b) =
1
9
_
_
11
8
9
7
_
_
.
Ejercicio 8. (1) La matriz de la proyecci on ortogonal sobre el subespacio es
P
S
=
1
11
_
_
5 1 2 5
9 4 1
3 2
5
_
_
.
(Los elementos que faltan en la matriz anterior no son nulos, quienes tienen que ser?)
(2) La matriz de la proyecci on ortogonal sobre el subespacio generado
P =
1
11
_
_
5
5 5
1 1 9
2 2 4 3
_
_
.
(Completa las posiciones donde aparece ())
(3) La matriz de la proyecci on ortogonal sobre E,
P
E
=
1
4
_
_
3 1 1 1
1 1 1
1 1
3
_
_
.
(Completa las posiciones donde aparece ()). La matriz de la proyecci on ortogonal
sobre E
P
E
=
1
4
_
_
1 1 1 1
3 1 1
3 1
1
_
_
= I P
E
.
(Completar las posiciones donde aparece ())
Ejercicio 9. (a) La matriz de la proyecci on ortogonal sobre S es
P
S
=
1
9
_
_
8 2 2
5 4
5
_
_
.
La matriz de la proyecci on ortogonal sobre S
es
P
S
= I P
S
=
1
9
_
_
1 2 2
4 4
4
_
_
.
(b) Una base de S
es
_
_
_
_
_
1
2
2
_
_
_
_
_
.
(c) Tenemos Col (A) = S puesto que cada columna de A esta en S y ambos subespacios
tienen dimension 2.
(d) El vector u de S m as cercano a v es el vector proyecci on ortogonal de v sobre S, es
decir,
P
S
v =
1
9
_
_
8 2 2
5 4
5
_
_
_
_
1
1
1
_
_
=
1
9
_
_
8
11
7
_
_
.
La distancia de v a S es
||v P
S
v|| = ||P
S
v|| =
1
9
_
_
1
2
2
_
_
=
1
3
.
Ejercicio 10. (a)
(b) A: Ortogonalizamos los vectores columna v
1
y v
2
de A,
u
1
= v
1
=
_
_
1
0
1
_
_
, u
2
= v
2
v
2
u
1
||u
1
||
2
u
1
=
1
2
_
_
1
2
1
_
_
.
B: Ortogonalizamos los vectores columna v
1
y v
2
de B,
u
1
= v
1
=
_
_
1
1
2
_
_
, u
2
= v
2
v
2
u
1
||u
1
||
2
u
1
=
1
6
_
_
1
7
4
_
_
.
Ejercicio 11. La proyecci on ortogonal del vector v = (5, 2, 3)
T
sobre la recta x = y, y = z
es: (2, 2, 2)
T
.
Ejercicio 12. Col (A) Una base ortonormal de Col (A) es
_
_
q
1
=
1
3
_
_
1
0
1
1
_
_
, q
2
=
_
_
0
1
0
0
_
_
, q
3
=
1
2
_
_
0
0
1
1
_
_
_
_
.
Nul (A) Como el rango de A es 3 el espacio nulo tiene dimension cero, luego solo
puede ser Nul (A) = {0}.
Ejercicio 13. (a) Si a = 0 los vectores son ortogonales dos a dos y tenemos los siguientes
casos:
a = 0, b = 0. En este caso v
1
= v
2
= 0 y {v
3
} es una base ortonormal de E.
a = 0, b = 0. En este caso,
E = Gen
_
_
u
2
=
_
_
0
0
1
0
_
_
, u
3
=
1
1 + b
2
_
_
0
b
0
1
_
_
_
_
,
deonde {u
2
, u
3
} es una base ortonormal de E.
a = 0. Los tres vectores {v
1
, v
2
, v
3
} son no nulos y no ortogonales entre s. Ortoga-
nalizamos, normalizamos los vectores obtenidos y tenemos una base ortonormal
de E,
_
_
u
1
=
_
_
1
0
0
0
_
_
, u
2
=
1
a
2
+ b
2
_
_
0
a
b
0
_
_
, u
3
=
1
1 + a
2
+ b
2
_
_
0
b
a
1
_
_
_
_
.
(b) Para a = 0 tenemos los siguientes casos:
a = 0, b = 0. La matriz de la proyecci on ortogonal sobre E es
P =
_
_
0 0 0 0
0 0 0 0
0 0 0 0
0 0 0 1
_
_
.
a = 0, b = 0. La matriz de la proyecci on ortogonal sobre E es
P =
_
_
0 0 0 0
0
b
2
1+b
2
0
b
1+b
2
0 0 1 0
0
b
1+b
2
0
1
1+b
2
_
_
.
(c) Se obtiene a = 1, b = 1.
Ejercicio 14. se obtiene = 2.
Ejercicio 15. Se obtiene v =
_
_
6
2
8
0
_
_
.
Ejercicio 16. (a) La proyecci on del vector v sobre el subespacio Col (A) es el vector dado
por
u =
1
3
_
_
1
4
3
2
_
_
.
(b) La matriz A completa es:
A =
_
_
1 0 3
2 1 1
1 1 2
0 1 5
_
_
.
Ejercicio 17. (1) x =
1 + 7 3 + 12
4
=
17
4
.
(2) x =
a
1
+ a
2
+ + a
n
n
. Cuando alguno de los valores a
k
aparece repetido, la expresion
anterior es v alida y se trata de una media aritmetica ponderada donde cada uno de los
distintos valores pesa seg un el n umero de veces que aparece repetido.
(3) Mediante las ecuaciones normales de Gauss
_
x =
_
3
_
, R
_
.
Ejercicio 18. (a)
_
x
1
x
2
_
=
_
11
5
0
_
+
_
1
1
_
, R.
(b)
_
x
1
x
2
_
=
_
2
0
_
+
_
1
1
_
, R.
Es decir, las soluciones en mnimos cuadrados de cada uno de los sistemas es una recta
y ambas rectas son paralelas. Notemos que si en el sistema (a) a la segunda ecuacion le
restamos la primera, se obtiene el sistema (b).
Ejercicio 19. (a) E
=
_
_
w =
_
_
1
2
1
1
_
_
_
_
.
(b) La matriz de la proyecci on ortogonal sobre E es
P
E
=
1
7
_
_
6 2 1 1
2 3 2 2
1 2 6 1
1 2 1 6
_
_
.
(c) Obtenemos
A =
_
_
2 1
4 2
2 1
2 1
_
_
.
(d)
_
x
1
x
2
_
=
_

1
14
0
_
+
x
2
2
_
1
2
_
.
Ejercicio 20. Para cualquier valor de c R, todas las par abolas
y =
_
1
4
+ c
_
x
2
3
4
x + c
se ajustan igual de bien, en el sentido de los mnimos cuadrados, a los puntos dados y se
ajustan mejor que todas las demas. Siendo estrictos en la lectura del enunciado quiz a habra
que suprimir una de las curvas que se obtiene mediante la ecuacion anterior, cual?
Ejercicio 21. La circunferencia que mejor se ajusta, en el sentido de los mnimos cuadrados,
a los puntos dados es
x
2
+ y
2
x y = 0
_
x
1
2
_
2
+
_
y
1
2
_
2
=
1
2
,
es decir, se trata de la circunferencia de centro
_
1
2
,
1
2
_
y radio
2
2
. Notemos que, de hecho, los
puntos dados estan en la ciecunferencia obtenida es decir, la solucion en mnimos cuadrados
es solucion (en el sentido estricto) del sistema original.
Ejercicio 22. Sus ecuaciones normales de Gauss son:
_
6 2
2 4
_ _
x
y
_
=
_
4
8
_
.
Ejercicio 23. (a) Matriz de la proyecci on ortogonal sobre S:
P
S
=
1
21
_
_
5 8 4 0
8 17 2 0
4 2 20 0
0 0 0 21
_
_
.
Vector de S m as cercano a v
4
: P
S
v
4
=
_
_
3
6
0
2
_
_
.
Distancia de v
4
a S: La distancia de v
4
a S es
21.
(b)
_
x
1
x
2
_
=
1
5
_
3
4
_

Teorema de La Mejor Aproximación

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Teorema de La Mejor Aproximación

Uploaded by

Copyright:

Available Formats

Ingeniera Civil.

esta formado por los vectores v = [x

es un subespacio vectorial (de dimension n1) que viene dado mediante

= S. Es decir, de manera inmediata obtenemos W

You might also like