Professional Documents
Culture Documents
IDEO. M
INIMOS CUADRADOS
Ejemplo 2. Cuando V = R
n
, podemos denir la siguiente operaci on entre vectores (com-
probar que se trata de un producto escalar): si x, y V , con x = (x
1
, ..., x
n
), y = (y
1
, ..., y
n
),
entonces
x y = x
1
y
1
+ ... + x
n
y
n
.
Observemos que si escribimos los vectores x e y como matrices columna, x =
_
_
_
x
1
.
.
.
x
n
_
_
_, y =
_
_
_
y
1
.
.
.
y
n
_
_
_, se tiene que x y = x
t
y = (x
1
. . . x
n
)
_
_
_
y
1
.
.
.
y
n
_
_
_, donde recordemos que para una matriz
A, su matriz transpuesta A
t
es la resultante de cambiar las por columnas.
Denici on 3. Sea V un espacio vectorial donde se ha denido un producto escalar, llamamos
norma o m odulo de un vector x V al siguiente n umero real
x = +
x x
A los vectores x V que satisfagan x = 1 se les llamar a vectores unitarios.
A partir de la denicion y de las propiedades del producto escalar es f acil comprobar las
siguientes propiedades de la norma: para cualesquiera x, y V y k R se satisface:
1. x = 0 si y s olo si x =
0
2. kx = |k| x
3. (Desigualdad triangular) x + y x +y
4. (Desigualdad de Cauchy-Schwarz) |x y| x y, y la igualdad se da si y
s olo si x e y son proporcionales.
5. (Ley del paralelogramo) x + y
2
+x y
2
= 2
_
x
2
+y
2
_
.
A partir de la norma, vamos de denir una distancia en R
n
, la distancia eucldea: Dados
x, y V , llamaremos distancia entre x e y, y la denotamos por d(x, y), al n umero positivo
d(x, y) = x y
_
por tanto x = d(x,
0)
_
.
A partir de las propiedades de la norma se deduce que para cualesquiera x, y, z V , la
distancia satisface:
1. d(x, x) = 0
2. d(x, y) = d(y, x) (simetra)
3. d(x +z, y +z) = d(x, y) (invarianza por traslaci on)
4. d(x, y) d(x, z) + d(z, y) (desigualdad triangular).
Ingeniera Tecnica
Forestal
2 Fundamentos Matem aticos
Curso 2004/05
2.2. ORTOGONALIDAD. PROYECCIONES ORTOGONALES SOBRE SUBESPACIOS
Todo espacio vectorial que tenga denida una distancia recibe el nombre de espacio
metrico.
Para nalizar esta secci on denimos la distancia de un vector x a un subespacio F como
d(x, F) = mn {d(x, y); y F} = mn {x y; y F} .
En la siguiente secci on encontraremos el vector de F donde se alcanza el mnimo anterior,
y calcularemos, por tanto, la distancia de un vector a un subespacio.
2.2. Ortogonalidad. Proyecciones ortogonales sobre subespa-
cios
Es bien conocido que para hallar la mnima distancia desde un punto a un plano en el
espacio tridimensional, hay que proyectar perpendicularmente dicho punto sobre el plano.
Extenderemos por analoga dicha noci on a un espacio vectorial eucldeo: la distancia de un
vector a un subespacio vectorial se obtiene proyectando ortogonalmente el vector sobre dicho
subespacio. Daremos sentido a esta expresi on:
En esta secci on deniremos el ortogonal de un subespacio vectorial F. Veremos que
cualquier espacio vectorial se puede descomponer como suma directa de un subespacio y
su ortogonal (que denotaremos por F
), esto es, V = F F
. Por tanto, F y F
son
complementarios. Esta descomposici on nos permitir a denir la proyecci on ortogonal de un
vector sobre un subespacio.
Denici on 4. Dos vectores x, y V son ortogonales o perpendiculares, (x y), si su
producto escalar el cero. Es decir,
x y =x y = 0.
Nota: En R
2
y R
3
, el producto escalar de dos vectores es el producto de los m odulos por
el coseno del angulo que forman:
x y = x y cos
xy.
Con esta denicion podemos dar la siguiente versi on del teorema de Pit agoras
Teorema 5 (Pitagoras.). Sea V un espacio vectorial eucldeo. Si x e y son vectores ortog-
onales en V , entonces
x + y
2
= x
2
+y
2
.
En general, si x
1
, x
2
, . . . , x
r
son ortogonales dos a dos, entonces
x
1
+ x
2
+ + x
r
2
= x
1
2
+x
2
2
+ +x
r
2
.
Denici on 6. Un conjunto de vectores no nulos {x
1
, x
2
, . . . , x
n
} forman un sistema ortonor-
mal si
(a) son ortogonales dos a dos, es decir, x
i
x
j
= 0, i = j,
Ingeniera Tecnica
Forestal
3 Fundamentos Matem aticos
Curso 2004/05
TEMA 2. ESPACIO VECTORIAL EUCL
IDEO. M
INIMOS CUADRADOS
(b) los vectores son unitarios, esto es, x
i
= 1 i.
Ejercicios:
1. Demostrar que en un espacio vectorial eucldeo, todo conjunto ortonormal de vectores
es linealmente independiente.
2. Comprobar que los vectores de la base can onica de R
n
, B = {e
1
, e
2
, ..., e
n
}, forman un
sistema ortonormal.
Sea F un subespacio de un espacio vectorial eucldeo V . Se llama ortogonal de F , y
se escribe F
, al conjunto de los vectores que son ortogonales a todos los vectores de F, esto
es,
F
= {x V / x y = 0, y F}.
Ejercicio: Comprueba que F
es un subespacio vectorial.
Ejemplo 7. Sea F =< (1, 1, 1, 0), (0, 1, 1, 0) > R
4
. Vamos a calcular las ecuaciones
implcitas del subespacio F
= {x R
4
/ y x = 0, y F}.
Por las propiedades de linealidad de los subespacios vectoriales, basta con calcular los vectores
que son ortogonales a los de una base de F. En nuestro caso, tomamos
B
F
= {(1, 1, 1, 0), (0, 1, 1, 0)} = {v
1
, v
2
} .
Un vector x = (x
1
, x
2
, x
3
, x
4
) pertenecer a a F
si v
1
x = 0 y v
2
x = 0. Escribiendo los
vectores en forma matricial, se tendr a que vericar
(1 1 1 0)
_
_
_
_
x
1
x
2
x
3
x
4
_
_
_
_
= 0, (0 1 1 0)
_
_
_
_
x
1
x
2
x
3
x
4
_
_
_
_
= 0;
o lo que es lo mismo,
_
1 1 1 0
0 1 1 0
_
_
_
_
_
x
1
x
2
x
3
x
4
_
_
_
_
=
_
0
0
_
_
x
1
+ x
2
+ x
3
x
2
x
3
_
=
_
0
0
_
,
con lo que encontramos las ecuaciones implcitas de F
=
_
x = (x
1
, x
2
, x
3
, x
4
) R
4
| x
1
+ x
2
+ x
3
= 0, x
2
x
3
= 0
_
.
Resolviendo el sistema homogeneo obtendramos las ecuaciones parametricas de F
.
Recprocamente, dado un subespacio vectorial en forma de ecuaciones implcitas, podemos
obtener una base del ortogonal tan s olo j andonos en los coecientes de las ecuaciones. Por
Ingeniera Tecnica
Forestal
4 Fundamentos Matem aticos
Curso 2004/05
2.2. ORTOGONALIDAD. PROYECCIONES ORTOGONALES SOBRE SUBESPACIOS
ejemplo, para hallar (F
, el ortogonal de F
= F. Esta es una
de las propiedades que enunciamos en el siguiente teorema:
Teorema 8. Sean F y G subespacios vectoriales de V. Se verican las siguientes propiedades:
(a) F
es un subespacio de V .
(b) (F + G)
= F
.
(c) F = (F
.
(d) Si F G, entonces, G
.
(e) (F G)
= F
+ G
.
Veamos ahora que un subespacio y su ortogonal son complementarios. Esto nos permite
escribir un espacio vectorial V como suma directa de un subespacio y su ortogonal. Como
dijimos al principio de esta secci on, esta descomposici on nos permitir a denir la proyecci on
ortogonal de un vector sobre un subespacio.
Teorema 9. Sean V un espacio vectorial eucldeo, y F un subespacio de V , entonces V =
F F
, es decir:
F F
= {
0} V = F + F
.
Ejercicio: Comprobar que R
4
= F F
.
Denici on 10. Sean V un espacio vectorial eucldeo, F un subespacio de V y x V. Si
escribimos x = v
1
+v
2
, con v
1
F, v
2
F
) es el vector v
1
F, (resp. el vector v
2
).
Escribiremos x V, x = v
1
+v
2
, con v
1
F, v
2
F
v
1
= P
F
(x) v
2
= P
F
(x).
Observemos entonces que el vector proyecci on ortogonal de x sobre F, P
F
(x), es aquel tal
que x P
F
(x) es ortogonal a todos los vectores de F.
La proyecci on ortogonal de un vector sobre un subespacio nos permite calcular la distancia
del vector a dicho subespacio:
Teorema 11 (Teorema de la mejor aproximaci on). El vector P
F
(x) F es el m as
cercano al vector x, esto es,
d(x, F) = mn {x y; y F} = x P
F
(x)
por tanto, x P
F
(x) x y y F.
Ingeniera Tecnica
Forestal
5 Fundamentos Matem aticos
Curso 2004/05
TEMA 2. ESPACIO VECTORIAL EUCL
IDEO. M
INIMOS CUADRADOS
Para concluir esta secci on, vamos a denir tres subespacios vectoriales que se obtienen de
una matriz:
Sea A M
mn
(R). Se denen los siguientes espacios fundamentales de A:
Espacio la: es el subespacio vectorial de R
n
engendrado por los vectores cuyas coor-
denadas coinciden con los elementos de las las:
F(A) =<
f
1
,
f
2
, . . . ,
f
m
> .
Espacio columna: es el subespacio vectorial de R
m
engendrado por los vectores cuyas
coordenadas coinciden con los elementos de las columnas:
R(A) =< c
1
, c
2
, . . . , c
n
> .
N otese que R(A) = {x
1
c
1
+ x
2
c
2
+ + x
n
c
n
, (x
1
, . . . , x
n
) R
n
}, escrito en forma
matricial sera
R(A) = {
_
_
_
_
.
.
.
.
.
.
.
.
.
c
1
c
2
c
n
.
.
.
.
.
.
.
.
.
_
_
_
_
_
_
_
x
1
.
.
.
x
n
_
_
_, (x
1
, . . . , x
n
) R
n
} = {Ax / x R
n
}.
Espacio nulo: es el subespacio vectorial de R
n
denido por
N(A) = {x R
n
/ Ax =
0}.
Se satisfacen las siguientes condiciones de ortogonalidad entre los subespacios fundamen-
tales de una matriz.
1. N(A) = (F(A))
.
2. N(A
t
) = (R(A))
.
Observemos que en el ejemplo 7, para obtener F
= N(A).
2.3. Aproximacion por mnimos cuadrados. Aplicaciones
Para el desarrollo de esta secci on consideraremos los vectores de R
m
como matrices colum-
nas de m componentes, por tanto, a partir de ahora no escribiremos con notaci on vectorial
(x). Sea A una matriz real de m las y n columnas, y b un vector columna de m compo-
nentes. Si m > n, el sistema Ax = b ser a, en general, incompatible: hay m as ecuaciones que
inc ognitas. Cuando el sistema sea incompatible, no existe soluci on exacta, pero buscaremos
Ingeniera Tecnica
Forestal
6 Fundamentos Matem aticos
Curso 2004/05
2.3. APROXIMACI
ON POR M
.
Como Ax
0
b R(A)
IDEO. M
INIMOS CUADRADOS
1. A
t
Ax
0
= A
t
b es compatible determinado (esto es, cuando A
t
A es invertible). Entonces,
existe una unica solucion ( x
0
= (A
t
A)
1
A
t
b ), que es la soluci on unica en el sentido
de los mnimos cuadrados.
2. A
t
Ax
0
= A
t
b es compatible indeterminado (esto es, cuando A
t
A NO es invertible).
Entonces, existen innitas soluciones en el sentido de los mnimos cuadrados. En este
caso, elegimos aquella soluci on que tiene norma mnima, a la que llamaremos soluci on
optima. Es decir:
x
0
es una soluci on optima en el sentido de los mnimos cuadrados para el sistema
Ax = b si es una soluci on en mnimos cuadrados y x
0
x para cualquier otra
solucion en mnimos cuadrados x.
En el siguiente Teorema veremos que la soluci on optima as denida, es unica y pertenece
al espacio la de la matriz A. Como consecuencia, de las innitas soluciones del sistema de
ecuaciones normales de Gauss, la soluci on optima ser a la que pertenece a F(A).
Teorema 13. Sea A una matriz real m n y b IR
m
. Entonces las siguientes condiciones
son equivalentes:
(a) x
0
es una soluci on optima en mnimos cuadrados para Ax = b.
(b) Ax
0
= P
R(A)
b y x
0
F(A) (o R(A
t
)).
Adem as, en ese caso, x
0
es la unica soluci on optima.
Vamos a demostrar el teorema utilizando alguno de los resultados principales de esta sec-
ci on. (Por tanto, la comprensi on de esta demostraci on implica la asimilaci on de los conceptos
utilizados).
Demostraci on:
(a) =(b). Supongamos que x
0
es la soluci on optima, esto es,
Es solucion en el sentido de los mnimos cuadrados y
x
0
x para cualquier otra soluci on x en el sentido de los mnimos cuadrados.
Consideramos el espacio nulo de A, N(A). Descomponemos el vector x
0
:
x
0
= x + y x N(A), y (N(A))
.
Veamos que y tambien es soluci on en el sentido de los mnimos cuadrados:
Como x N(A), se tendr a que Ax = 0. Por tanto, si multiplicamos a la izquierda en la
igualdad anterior por A, obtenemos:
Ax
0
= Ax + Ay = Ay.
Por el Teorema 12, se tiene que Ax
0
= P
R(A)
b, luego de la igualdad anterior se obtiene
que Ay = P
R(A)
b. Por tanto y tambien es soluci on en el sentido de los mnimos cuadrados.
Como x N(A) y y (N(A)))
2
= x + y
2
= x
2
+y
2
y
2
.
Pero x
0
era la solucion optima, por tanto, x
0
y. Deducimos entonces que x
0
= y
(N(A))
= F(A).
Ejercicio: Demostrar el recproco.
Ingeniera Tecnica
Forestal
8 Fundamentos Matem aticos
Curso 2004/05
2.3. APROXIMACI
ON POR M
10
20
30
40
Si se admite que las variables x e y tienen una relaci on lineal, la curva que m as se adapta
a los valores observados (x
i
, y
i
) es una recta (como en el ejemplo anterior): su ecuaci on sera
y = ax+b. Est a claro que como la funci on y = ax+b es s olo una aproximaci on, en general, la
recta no parara por los puntos (x
i
, y
i
), por tanto la igualdad y
i
= ax
i
+ b no se va a cumplir
para ciertas parejas de datos, cualesquiera que sean a y b.
El sistema a resolver es:
ax
1
+ b = y
1
ax
2
+ b = y
2
.
.
.
ax
m
+ b = y
m
Ingeniera Tecnica
Forestal
9 Fundamentos Matem aticos
Curso 2004/05
TEMA 2. ESPACIO VECTORIAL EUCL
IDEO. M
INIMOS CUADRADOS
La regresi on lineal consiste en calcular a
0
y b
0
de manera que la recta y = a
0
x + b
0
es
la que mejor se ajusta a la nube de puntos (x
i
, y
i
) en el sentido de los mnimos cuadrados.
Para ello, buscamos la solucion del sistema anterior en el sentido de los mnimos cuadrados.
Obtendremos dos valores a
0
y b
0
, y con esto, la recta y = a
0
x+b
0
, que denominaremos recta
de regresi on de y sobre x.
Ejemplo 15. Calculemos la recta de regresi on en el ejemplo 14. Buscamos valores a, b solu-
ci on en el sentido de los mnimos cuadrados del sistema
_
_
a + b = 5
2a + b = 12
3a + b = 14
4a + b = 20
5a + b = 30
6a + b = 38
matricialmente
A
_
a
b
_
= m
_
_
_
_
_
_
_
_
1 1
2 1
3 1
4 1
5 1
6 1
_
_
_
_
_
_
_
_
_
a
b
_
=
_
_
_
_
_
_
_
_
5
12
14
20
30
38
_
_
_
_
_
_
_
_
.
Calculamos el sistema de ecuaciones normales de Gauss A
t
A
_
a
b
_
= A
t
m:
_
91 21
21 6
__
a
b
_
=
_
529
119
_
.
Es un sistema compatible determinado, por lo que se obtienen los valores a
0
=
45
7
, b
0
=
8
3
. As, la recta de regresi on resultante es
y =
45
7
x
8
3
.
Observaciones.
Supongamos que tenemos un experimento en el que la curva que mejor se adapta a la
nube de puntos es una par abola. En este caso, aplicamos el procedimiento anterior para
buscar los coecientes a, b y c, del polinomio
y = ax
2
+ bx + c.
En general, puede aplicarse el procedimiento al problema de la regresi on polin omica,
y = a
0
+a
1
x+ +a
n
x
n
(en este caso la matriz que se obtiene es de orden m(n+1)).
Algunos ajustes no lineales pueden reducirse a ajustes lineales. Por ejemplo, y = ae
bx
se reduce a un ajuste lineal tomando logaritmos: log(y) = log(a) + bx.
Se pueden resolver tambien ajustes con m as variables, como por ejemplo: z = ax+by+c.
An alogamente se puede buscar la recta de regresi on de x sobre y de la forma x = y +.
En general, ambas rectas no tienen por que ser iguales. En la recta de regresi on y = ax + b
las distancias se miden proyectando el punto verticalmente sobre la recta, mientras que en la
recta x = y + las distancias se miden proyectando horizontalmente:
Ejemplo 16. Para los datos: (1, 1), (2, 4), (3, 3), se obtienen las siguientes rectas de regresi on:
Ingeniera Tecnica
Forestal
10 Fundamentos Matem aticos
Curso 2004/05
2.3. APROXIMACI
ON POR M
i
d((x
i
, y
i
), r)
2
. Estas distancias se miden proyectando el punto perpendicularmente sobre
la recta:
Ingeniera Tecnica
Forestal
11 Fundamentos Matem aticos
Curso 2004/05
TEMA 2. ESPACIO VECTORIAL EUCL
IDEO. M
INIMOS CUADRADOS
Recta de regresi on generalizada
Ingeniera Tecnica
Forestal
12 Fundamentos Matem aticos
Curso 2004/05