Regresin Lineal y

Regresin
Polinomial
CM3201
Ing. Marvin Hernndez C.
II semestre 2008, Grupo 8
Regresin Lineal
El ejemplo ms simple de aproximacin por mnimos
cuadrados es ajustar una lnea recta a un conjunto de
observaciones definidas por puntos:


La expresin matemtica para la lnea recta es:

ao y a1 son coeficientes que representan la interseccin con el
eje y y la pendiente, respectivamente.
e= es el error, o diferencia, entre el modelo y las observaciones, el
cual se representa al reordenar la ecuacin(17.1) como

e x a a y
1 o
+ + =
x a - a - y e
1 o
=
Datos con un error significativo
Ajuste polinomial oscilando mas all del rango de
los datos
Resultados ms satisfactorios mediante el ajuste por
mnimos cuadrados
El error o residuo e es la discrepancia entre el valor verdadero de y y el valor
aproximado a
0
+ a
1
x, el cual predijo la ecuacin lineal
Si se minimiza la suma de los errores residuales de todos los datos disponibles se
tiene una mejor lnea de ajuste, es decir,
e
i
= (y
i
a
0
a
1
x
i
); las sumas van de i=1 hasta n=nmero de puntos
Una mejor aproximacin es minimizar la suma de los valores absolutos
|e
i
| = | y
i
a
0
a
1
x
i
|; para i=1 a n
Los dos criterios anteriores, sin embargo, no son adecuados pues no dan un nico
mejor ajuste.
Un mejor criterio es el minimax, en donde la lnea de ajuste se elige para que se
minimice la mxima distancia a la que se encuentra un punto de la lnea. Esta
tcnica tiene el inconveniente de que da excesiva influencia a puntos fuera del
conjunto (un solo punto con un gran error). Minimax es una tcnica adecuada para
ajustar una funcin simple a una complicada. Consiste en minimizar la suma de los
cuadrados de los residuos entre la y medida y la calculada con el modelo lineal
Sr = e
i
2
= (y
i,medida
-y
i,modelo
)
2
= (y
i
a
0
a
1
x
i
)
2
, para i=1 a n

Ajuste de una lnea recta por mnimos cuadrados
Para determinar los valores de ao y a1 , se deriva con respecto a cada uno de los
coeficientes:


Al igualar las derivadas a cero dar como resultado un Sr mnimo
Ahora y expresamos las ecuaciones como un conjunto de dos
ecuaciones lineales simultneas ( con 2 incgnitas):
Ecuaciones normales

a
1
=( nx
i
y
i
-x
i
y
i
) / (nx
i
2
(x
i
)
2
)
a
0
= prom(y) a
1
prom(x); prom = promedio

| |

=
c
c
=
c
c
i i i
r
i i
o
r
x x a a y
a
S
x a a y
a
S
) ( 2
) ( 2
1 0
1
1 0


=
=
2
1 0
1 0
0
0
i i i i
i i
x a x a x y
x a a y
( )
( ) ( )
1
2
0
1
a x a x x y
a x na y
i i i i
i o i


+ =
+ =

=
o
na a
0


Ejemplo:
Ajuste a una lnea recta los valores x y y en las primeras columnas de la tabla
Tabla. Clculos para el anlisis de error en el ajuste lineal.
Cuantificacin del error en la regresin lineal
Suma de Cuadrados:


Esto se puede interpretar por medio del principio de la mxima probabilidad y se
determina como sigue:



St es la magnitud del error residual asociado con la variable dependiente antes de la
regresin.
Sr : Suma de los cuadrados.
Suma Inexplicable de los cuadrados: St- Sr
Con esto obtenemos:
Planteamiento del problema. Calcule la desviacin estndar total, el error estndar del estimado el coeficiente de
correlacin para los datos del ejemplo anterior.
Solucin. Las sumatorias se realizan y se presentan en la tabla
Y el error estndar del estimado es
Como , el modelo de regresion lineal es adecuado. La mejora se puede cuantificar mediante

Los resultados indican que el modelo lineal explico el 86.8% de la incertidumbre original.
Linealizacin de Relaciones No Lineales
En la regresin lineal no siempre se da el caso de que la relacin entre las variables
dependientes e independientes es lineal. Este es un dato que se debe averiguar siempre antes
de realizar cualquier anlisis de regresin. Por ejemplo, si los datos son curvilneos, no se debe
utilizar el mtodo de regresin lineal por mnimos cuadrados .

Existen ocasiones en que los datos no son compatibles con la regresin lineal, por lo tanto, se
debe recurrir a una transformacin. Estas transformaciones matemticas son capaces de
manipular las ecuaciones para que resulten de una manera lineal, y despus de esto aplicar el
mtodo de regresin lineal simple para ajustar las ecuaciones a los datos .

Ejemplo: Ecuacin de Potencias


Como se trata de una ecuacin de potencias se puede aplicar logaritmo a ambos lados de la
ecuacin. Tomando valores de a=0,5 y de b=1,75 se obtiene la siguiente ecuacin.
b
ax y =
300 , 0 log 75 , 1 log = x y
En la siguiente Tabla se observan los datos por graficar de la ecuacin de potencias sin logaritmo y con logaritmo.

x y logx logy
1 0,5 0 -0,301
2 1,7 0,301 0,226
3 3,4 0,477 0,534
4 5,7 0,602 0,753
5 8,4 0,699 0,922
Curvilinea
0
1
2
3
4
5
6
7
8
9
0 1 2 3 4 5 6
Curvilinea
Grfico de Y vrs X
Logaritmo
-0,4
-0,2
0
0,2
0,4
0,6
0,8
1
0 0,2 0,4 0,6 0,8
Logaritmo
Grfica de log(y) vrs log(x)
Regresin Polinomial
Consiste en otra alternativa, para ajustar polinomios a los datos.
Necesitamos ajustar a un polinomio de segundo grado cuadrtico:


La suma de los cuadrados de los residuos es:


Derivamos Sr con respecto a a0:
e x a x a a y + + + =
2
2 1 0
2
1
2
2 1 0
) (

=
=
n
i
i i i
x a x a a y Sr
) ( 2
2
2 1 1 0

i i
x a x a a y
) ( 2
2
2 1 1 0

i i i
x a x a a y x
) ( 2
2
2 1 0
2

i i i i
x a x a a y x
Luego con respecto a a
1
:

Por ltimo con respecto a a
2
:

Igualamos a 0, y reordenamos:

= + +
i i i
y a x a x a n
2
2
1 0
) ( ) ( ) (

= + +
i i i i i
y x a x a x a x
2
3
1
2
0
) ( ) ( ) (

= + +
i i i i i
y x a x a x a x
2
2
4
1
3
0
2
) ( ) ( ) (
1 = i
n
hasta
Tenemos un sistemas de ecuaciones, con 3 incgnitas (a
0
,a
1
,a
2
), entonces se
puede extender un polinomio de m-simo grado como sigue:

e x a x a x a a y
m
m
+ + + + = ......
2
2 1 0
El error estndar se calcula de la siguiente manera:

) 1 (
/
+
=
m n
s
s
r
x y
A continuacin, se propone un ejercicio para facilitar la compresin de la regresin polinomial.

Ejercicio
Ajustar a un polinomio de segundo grado los datos dados en las dos primeras columnas de la siguiente
tabla.

En donde:
6
2
=
=
n
m
15 =
i
x
6 . 152 =
i
y
55
2
=
i
x
255
3
=
i
x
979
4
=
i
x
6 . 585 =
i i
y x
8 . 2488
2
=
i i
y x
5 . 2 =

x
433 . 25 =

y
6 . 152 55 15 6
3 1 0
= + + a a a
6 . 585 225 55 15
3 1 0
= + + a a a
8 . 2488 979 225 55
3 1 0
= + + a a a
Entonces, las ecuaciones lineales simultneas son:

47857 . 2
0
= a
35929 . 2
1
= a
86071 . 1
2
= a
Resolviendo el sistema por eliminacin de Gauss tenemos:

Y por lo tanto tenemos la ecuacin de la forma:

2
86071 . 1 35929 . 2 47857 . 2 x x y + + =
El error estndar es:

12 . 1
3 6
74657 . 3
/
=

=
x y
s
99851 . 0
39 . 2513
74657 . 3 39 . 2513
2
=

= r
99925 . 0 = r
El coeficiente de determinacin es:


r : Coeficiente de correlacin
: Coeficiente de determinacin
2
r
En un ajuste perfecto St=0 y r2=r=1,significa que la lnea explica el 100% de la variabilidad de los datos r2=r=0, Sr= St el ajuste no representa
alguna mejora. Una representacin alternativa para r que es mas conveniente para implementarse en una computadora es

( )( )
( ) ( )

=
2 2 2
2
i i i i
i i i i
y y n x x n
y x y x n
r