You are on page 1of 61

Anlisis de regresin

Interpretacin del modelo de regresin lineal simple RLS


Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Regresin lineal simple


Lorena Brun Gonzlez
Universidad de Antioquia
Mtodos Estadsticos II
Ingeniera Industrial
Semestre 2015-I

25 de febrero de 2015
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Anlisis de regresin

Interpretacin del modelo de regresin lineal simple RLS

Estimacin de los Parmetros del MRLS

Inferencia acerca de los parmetros del MRLS

Anlisis de varianza en modelos de RLS


logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Anlisis de regresin
El anlisis de regresin es apropiado en situaciones donde se
sospecha o se asume que una variable est relacionada a una
o varias mediadas hechas usualmente en un mismo individuo
(objeto). El objetivo del anlisis es usar los datos (valores observados de las variables) para estimar la forma de la relacin.

logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Ejemplo
Usar la informacin sobre el ingreso y el nmero de aos de
escolaridad formal.
Usar la informacin sobre el ingreso y el gasto familiar.
Usar la informacin del nmero de horas de sueo con el rendimiento en clase.
Usar la informacin del nmero de horas en el Facebook con el
grado de estres de una persona.

logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Definicin:
El anlisis de regresin es una tcnica estadstica para investigar y modelar la relacin entre variables.
Es una de las tcnicas de uso ms frecuente para analizar conjuntos de datos que involucran dos tipos de variables, la variable
dependiente o variable respuesta y un grupo de variables independientes (regresoras o predictoras).

logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

1. Los modelos lineales empleados son aproximaciones que se


espera trabajen bien en el rango de valores de las variables
regresoras empleados en la construccin del modelo ajustado.
2. Usualmente los mtodos de regresin son empleados con los
siguientes fines:
2.1 Encontrar variables que expliquen un fenomeno.
2.2 Predecir valores.
3. El analista debe tener claro los objetivos del estudio y el contexto del problema. Un modelo que da una solucin a un problema en particular no necesariamente da buenos resultados para
resolver otros.
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Ejemplo 1:
Se realiza un estudio de fotoperiodo en aves acuticas. Se pretende establecer una ecuacin mediante la cual pueda predecirse el tiempo de reproduccin (Y ), en base al conocimiento del
fotoperiodo (nmero de horas de luz por da) bajo el que se inici la reproduccin (X ). Se obtuvieron datos del comportamiento de 11 Aythya (patos buceadores). Los resultados fueron los
siguientes:
X
Y

12.8
110

13.9
54

14.1
98

14.7
50

15.0
67

15.1
58

16.0
52

16.5
50

16.6
43

17.2
15

17.9
28
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Fotoperiodo:
Se denomina fotoperiodo al conjunto de procesos de las especies vegetales mediante los cuales regulan sus funciones biolgicas (como por ejemplo su reproduccin y crecimiento).
El mismo mecanismo tambin es vlido para los animales.

logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Ejemplo 2:
Consideremos el siguiente experimento controlado y aleatorizado para estudiar el efecto de una nueva droga sobre la frecuencia cardiaca de ratas sanas. Cinco ratas fueron asignadas
aleatoriamente a una de cinco dosis (X ) y se registr la mxima
disminucin observada en la frecuencia cardiaca en una hora
(Y ). Los datos obtenidos son:
x
y

0.5
5

1.0
8

1.5
12

2.0
13

2.5
16
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

El diagrama de dispersin parece indicar con claridad que hay


una relacin entre la dosis y la disminucin de la frecuencia cardiaca.
La grfica que sigue muestra la relacin de lnea recta.

logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Ecuacin de la recta:
Como la mxima disminucin observada en la frecuencia cardiaca en una hora es denotada por Y y X representa dosis del
medicamento, la ecuacin de una recta que relaciona estas dos
variables es:
Y = 0 + 1 X ,

(1)

en donde, 0 : es la ordenada al origen y 1 : es la pendiente.


Pero debido a que los datos no caen exactamente sobre una
recta, es necesario modificar la ecuacin anterior para tener en
cuenta dicha situacin.
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Sea la diferencia entre el valor observado de Y y el valor de la


lnea recta (0 + 1 X ) un error, denotado por .
Conviene imaginar que es un error estadstico, es decir, que
es una variable aleatoria que explica el porqu el modelo no
ajusta exactamente los datos.
Este error puede estar formado por los efectos de otras variables sobre la frecuencia cardiaca Y , por errores de medicin,
etc.
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Modelo lineal simple:


Un modelo ms plausible para los datos de la frecuencia cardiaca es:
Y = 0 + 1 X +
(2)
A sta ecuacin se le llama modelo de regresin lineal.
Por costumbre se dice que X es la variable independiente y Y
la variable dependiente.
Tambin se usa el nombre de variable regresora o predictora
para X y variable respuesta para Y .
Como la ecuacin anterior slo tiene una variable regresora, se
le llama modelo de regresin lineal simple.
Ingeniera Industrial

Regresin lineal simple

logo

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Para comprender mejor el modelo de regresin lineal, suponga que se puede fijar el valor de la variable regresora X para
observar el valor correspondiente de la respuesta Y .
Si X est fija, el componente aleatorio del lado derecho del
modelo de RLS determina las probabilidades de Y .
Supongamos que el promedio y la varianza de son cero y
2 respectivamente, entonces la respuesta media en cualquier
valor de la variable regresora ser:
E[Y |X = x] = y |x
= E[0 + 1 X + ]
= 0 + 1 X + E[]
= 0 + 1 X .
Ingeniera Industrial

Regresin lineal simple

logo

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Se observa que la anterior respuesta media coincide con la


relacin dada por la ecuacin (1) obtenida a partir del diagrama de dispersin de los datos.
Ahora la varianza de Y para cualquier valor de X es:
V [Y |X = x] = y2|x
= V [0 + 1 X + ]
= V []
= 2.
De lo anterior se tiene que el verdadero modelo de regresin
y |x = 0 + 1 X .
Ingeniera Industrial

Regresin lineal simple

logo

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

es una lnea recta de valores promedios, es decir, la altura de


la lnea de regresin en cualquier valor de X no es ms que el
valor esperado de Y para ese valor de X .
La pendiente 1 es el cambio de la media de Y por un cambio
unitario de X . Adems, la variabilidad de Y en cualquier valor
particular de X queda determinada por la varianza del componente de error aleatorio del modelo , es decir, por 2 .
Esto implica que hay una distribucin de valores de Y en cada
valor de X y que la varianza de dicha distribucin es igual en
cada valor de X .
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

En muchas aplicaciones solo se tiene tanto una variable respuesta Y como una variable regresora o independiente X, en cuyo
caso se habla de modelos de regresin lineal simple (RLS), es
decir, modelos de RLS.

logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Relacin estadstica entre dos variables


Una relacin estadstica, a diferencia de una relacin funcional,
NO ES PERFECTA. En general, las observaciones para una
relacin estadstica no caen directamente sobre la curva de
relacin.

logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

MRLS con trmino de error no especificado


En el caso de un modelo de RLS, se considera que existe solamente una variable predictora y que la funcin de regresin es
lineal, es decir, el modelo es de la forma:
Yi = 0 + 1 Xi + i , para i = 1, . . . , n.

(3)

Yi : Es el valor de la variable respuesta en el i-simo nivel (o


valor) de X .
0 , 1 : Son los parmetros del modelo.
Xi :Es una constante conocida que representa el valor de la
variable predictora para el i-simo ensayo o prueba.
Ingeniera Industrial

Regresin lineal simple

logo

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

i : Es un error aleatorio, con media cero, es decir, E[i ] = 0 y


varianza constante, es decir, Var [i ] = 2 , adems los i son
no-correlacionados, es decir que, Cov [i ; j ] = 0; (i, j); i 6= j;
i = 1, . . . n.
El modelo de regresin anterior se dice que es:
? Simple: En el sentido de que slo hay una variable predictora
o independiente.
? Lineal: En el sentido de que es lineal en los parmetros.
? De primer orden: En el sentido de que la variable predictora
aparece solamente en potencias de uno.
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Ejemplos

Modelo
Y = 0 + x 1 +
1
Y =
+
[0 + e1 x ]
Y = 0 + 1 x + 2 x 2 +

Tipo
Modelo no lineal
Modelo no lineal
Modelo de regresin de segundo orden

logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

ALgunas caractersticas del modelo de RLS


La respuesta Yi en el i-simo ensayo o prueba, es la suma
de dos trminos, a saber: un trmino constante, 0 + 1 Xi y un
trmino aleatorio, i .
Como E[i ] = 0, entonces se tiene que, E[Yi] = 0 + 1 Xi
(constante), por lo que, la respuesta Yi cuando el nivel de X
es Xi , viene de una distribucin de probabilidad cuya media es:
E[Yi] = 0 + 1 Xi , y por lo tanto la funcin de regresin del
modelo es: E[Y ] = 0 + 1 X
ya que la funcin de regresin relaciona la media de la distribucin de probabilidad de Y para X dado a un nivel.
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

La respuesta Yi en el i-simo nivel de X , excede o cae cerca


del valor de la funcin de regresin, por una cantidad de tamao
i .
Los i , se asumen que tienen varianza constante 2 , por lo
tanto, se sigue que la respuesta Yi tiene la misma varianza,
es decir, Var [Yi] = 2 . De donde el modelo (3), asume que la
distribucin de probabilidad de la variable respuesta Y tiene la
misma varianza constante 2 , independientemente del valor de
la variable predictora X .
Los trminos de error i , se asume que son no-correlacionados,
es decir, la entrada en cualquier nivel de X , no tiene efecto sobre el trmino de error de cualquier otro nivel.
logo
Como i y j son no-correlacionados, tambin lo son Yi y Yj .
Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Estimacin de los Parmetros del MRLS


Dado un conjunto de observaciones o datos (X1 , Y1 ); . . . ; (Xn ; Yn ),
se trata de hallar valores apropiados de 0 , 1 , que se ajusten
lo mejor posible a este conjunto de datos.
El mtodo de mnimos cuadrados ordinario (ordinary least squares
method (OLS)), considera la desviacin de Yi a su valor esperado, es decir,
Yi (0 + 1 Xi ).
Para hallar a 0 y 1 , se considera la suma de las n-desviaciones
al cuadrado, denotada por,
n
X
Q(0 , 1 ) =
[Yi (0 + 1 Xi )]2 .
i=1
Ingeniera Industrial

Regresin lineal simple

logo

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Las estimaciones de 0 y 1 , son aquellos valores b0 y b1 ,


que minimizan la cantidad Q para las observaciones muestrales
(X1 , Y1 ); . . . ; (Xn ; Yn ).
Para hallar b0 y b1 , se pueden usar procesos de bsqueda
numrica, hasta hallar valores de 0 y 1 que minimicen a Q,
o bien, mediante procesos analticos, cuando el modelo de regresin propuesto no es tan complejo matemticamente.

logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Mediante un acercamiento analtico, se tiene que derivando


parcialmente la cantidad Q con respecto a 0 y 1 e igualando a
cero, se obtienen las siguientes ecuaciones, tambin llamadas
Ecuaciones Normales:
n
X

Yi = nb0 + b1

i=1

n
X
i=1

Xi Yi = b0

n
X

Xi ,

i=1

n
X
i=1

Xi + b1

n
X

Xi2 ,

i=1

y resolviendo simultneamente las ecuaciones anteriores, para


b0 y b1 , se obtiene que:
Ingeniera Industrial

Regresin lineal simple

logo

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

1
b0 =
n

n
X
i=1

Pn
b1 =

Yi b1

n
X

!
Xi

i=1

i=1 (Xi X )(Yi


Pn
2
i=1 (Xi X )

Y)

Sxy
.
Sxx

A las cantidades, Sxx y Sxy se les llama: suma corregida de


cuadrados de X y suma corregida de productos cruzados de X
e Y , respectivamente.
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Los estimadores de mnimos cuadrados ordinario son:


b0 = Y b1 X ,

con,

P
(Xi X )(Yi Y )
P
(Xi X )2
P P
P
Xi Yi Xin Yi
P
= P
2
(Xi )2 ( nXi )
Sxy
=
Sxx

b1 =

n
P

con, Y =

n
P

Yi

i=1

yX =

Xi

i=1

logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

El modelo de RLS ajustado es:


yb = b0 + b1 X ,
el cual representa una estimacin de la media de Y para un
valor especfico de X , es decir:
\
yb = b0 + b1 X E(Y
|X ) = b0 + b1 X .

logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Residuales
Se llama residual a la diferencia entre el valor observado yi y su
valor estimado, ybi , es decir,
ei = yi ybi = yi (b0 + b1 xi ).
Para i = 1, . . . , n
NOTA: Los Residuales sern importantes en la validacin de
los supuestos de un modelo de regresin.
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Propiedades de b0 y b1 , obtenidos mediante OLS


Bajo las condiciones del modelo de RLS, los estimadores
obtenidos mediante OLS 0 y 1 son insesgados y tienen
mnima varianza, entre todos los estimadores lineales
insesgados. La anterior propiedad quiere decir lo
siguiente:
Primero: E[b0 ] = 0 y E[b1 ] = 1 (insesgados).
Segundo: Los estimadores b0 y b1 son los ms precisos
(es decir, sus distribuciones muestrales son menos
variables), esto es, b0 y b1 tienen la variabilidad ms
pequea sobre muestras repetidas en las cuales los
niveles de X permanecen sin cambiar.
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Propiedades de b0 y b1 , obtenidos mediante OLS


Bajo las condiciones del modelo de RLS, los estimadores
obtenidos mediante OLS 0 y 1 son insesgados y tienen
mnima varianza, entre todos los estimadores lineales
insesgados. La anterior propiedad quiere decir lo
siguiente:
Primero: E[b0 ] = 0 y E[b1 ] = 1 (insesgados).
Segundo: Los estimadores b0 y b1 son los ms precisos
(es decir, sus distribuciones muestrales son menos
variables), esto es, b0 y b1 tienen la variabilidad ms
pequea sobre muestras repetidas en las cuales los
niveles de X permanecen sin cambiar.
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Propiedades de b0 y b1 , obtenidos mediante OLS


Bajo las condiciones del modelo de RLS, los estimadores
obtenidos mediante OLS 0 y 1 son insesgados y tienen
mnima varianza, entre todos los estimadores lineales
insesgados. La anterior propiedad quiere decir lo
siguiente:
Primero: E[b0 ] = 0 y E[b1 ] = 1 (insesgados).
Segundo: Los estimadores b0 y b1 son los ms precisos
(es decir, sus distribuciones muestrales son menos
variables), esto es, b0 y b1 tienen la variabilidad ms
pequea sobre muestras repetidas en las cuales los
niveles de X permanecen sin cambiar.
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Demostrar que 0 es insesgado.


h
i
E[b0 ] = E Y b1 X
 X

1
b
=E
yi X 1
n
1X
=
E[yi ] X E[b1 ]
n
1X
=
(0 + 1 xi ) X 1
n
= 0 + X 1 X 1
= 0 .
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Clculo de la varianza de b0
h
i
b
b
Var [0 ] = Var Y 1 X
2

= Var (Y ) + X Var (b1 ) 2X Cov (Y , b1 )


2

2 X 2
+
2X (0), pues Cov (Y , b1 ) = 0
n
Sxx
"
#
2
X
2 1
=
+
.
n Sxx

En la demostracin anterior se utiliz la siguiente propiedad de


varianza:
Var (aX bY ) = Var (aX ) + Var (bY ) Cov (aX , bY )
= a2 Var (X ) + b2 Var (Y ) abCov (X , Y )
Ingeniera Industrial

Regresin lineal simple

logo

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

de igual forma se demuestra que Var [b1 ] = Sxx .


Otras propiedades de los estimadores OLS
La suma de residuales en cualquier modelo de regresin
que contiene
un
P
P intercepto 0 es siempre igual a cero, es
decir,
ei = (yi ybi ) = 0.
La lnea de regresin de mnimos cuadrados, siempre
pasa a travs del centroide de los datos, es decir, a travs
de (x; y ).
La suma de residuales por los correspondientes
P valores
ajustados de yi0 s, es siempre cero, es decir,
ybi ei
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

de igual forma se demuestra que Var [b1 ] = Sxx .


Otras propiedades de los estimadores OLS
La suma de residuales en cualquier modelo de regresin
que contiene
un
P
P intercepto 0 es siempre igual a cero, es
decir,
ei = (yi ybi ) = 0.
La lnea de regresin de mnimos cuadrados, siempre
pasa a travs del centroide de los datos, es decir, a travs
de (x; y ).
La suma de residuales por los correspondientes
P valores
ajustados de yi0 s, es siempre cero, es decir,
ybi ei
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

de igual forma se demuestra que Var [b1 ] = Sxx .


Otras propiedades de los estimadores OLS
La suma de residuales en cualquier modelo de regresin
que contiene
un
P
P intercepto 0 es siempre igual a cero, es
decir,
ei = (yi ybi ) = 0.
La lnea de regresin de mnimos cuadrados, siempre
pasa a travs del centroide de los datos, es decir, a travs
de (x; y ).
La suma de residuales por los correspondientes
P valores
ajustados de yi0 s, es siempre cero, es decir,
ybi ei
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Inferencia acerca de los parmetros del MRLS


Ahora se realizarn algunos procedimientos de inferencia estadstica tanto para 0 como para 1 , entre los cuales se incluyen la realizacin de pruebas de hiptesis concernientes a
ambos parmetros, la construccin de intervalos de confianza
(I.C) para ambos parmetros, I.C para la respuesta media de
la distribucin de probabilidad de Y dado X , es decir I.C para
y = E[Y |X ], intervalos de prediccin para nuevas observaciones de Y .

logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Para poder hacer inferencia acerca de los parmetros del modelo de RLS, es necesario una suposicin adicional sobre los
errores del modelo, es decir sobre los i , la cual es: los errores
i siguen o tienen una distribucin normal. Con esta suposicin
adicional, se tiene el llamado modelo de RLS normal (o modelo
de RLS con errores normales), definido como:
yi = 0 + 1 xi + i ,

(4)

con los supuesto: i Ni.i.d. (0, 2 ).


De lo anterior se sigue que las Yi0 s, son variables aleatorias
independientes distribuidas normales con media E[Yi ] = 0 +
1 Xi y varianza Var [Yi ] = 2 , es decir,
Yi |Xi Ni.i.d. (0 + 1 Xi , 2 )
Ingeniera Industrial

Regresin lineal simple

logo

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Inferencia para 1
I.C para 1
Un I.C del (1 ) % para 1 es:
b1 t(/2,n2) Sb ,
1

s
b1 t(/2,n2)
donde CME =
b2 =

CME
,
Sxx

P
SCE
y SCE = ni=1 (yi ybi )2 .
n2

Ingeniera Industrial

Regresin lineal simple

logo

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Inferencia para 0
I.C 0
Un I.C del (1 ) % para 0 es:
b0 t(/2,n2) Sb ,
0

es decir,
v
"
#
u
2
u
X
1
t
b0 t(/2,n2) CME
+
,
n Sxx

logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Prueba de hiptesis acerca de 1


Para realizar la siguiente prueba de hiptesis (PH) acerca de 1
H0 : 1 = 0 vs H1 : 1 6= 0,
se utiliza la siguiente estadstica de prueba:
b1
tc = q

CME
Sxx

y cuya regla de decisin con dicha estadstica de prueba es:


rechazo H0 si |tc | > t(/2;n2)

Ingeniera Industrial

Regresin lineal simple

logo

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Para pruebas de hiptesis de la siguiente forma,


H0 : 1 0 vs H1 : 1 > 0
H0 : 1 0 vs H1 : 1 < 0
se utiliza la misma estadstica de prueba, con las siguientes reglas de decisin:
Rechazo H0 si tc > t(;n2) tc < t(;n2) , respectivamente.
Otra forma de tomar la decisin es utilizando el valor-p de la
prueba.
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Prueba de hiptesis acerca de 0


Para realizar la siguiente prueba de hiptesis (PH) acerca de 0
H0 : 0 = 0 vs H1 : 1 6= 0,
se utiliza la siguiente estadstica de prueba:
b0
tc = r
h
CME n1 +

X
Sxx

i,

y cuya regla de decisin con dicha estadstica de prueba es:


rechazo H0 si |tc | > t(/2;n2)
Ingeniera Industrial

Regresin lineal simple

logo

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Para pruebas de hiptesis de la siguiente forma,


H0 : 0 0 vs H1 : 0 > 0
H0 : 0 0 vs H1 : 0 < 0
se utiliza la misma estadstica de prueba, con las siguientes reglas de decisin:
Rechazo H0 si tc > t(;n2) tc < t(;n2) , respectivamente. Otra
forma de tomar la decisin es utilizando el valor-p de la prueba.
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Anlisis de varianza en modelos de RLS Particin de la


suma total de cuadrados
El acercamiento del anlisis de varianza se basa en la particin
de sumas de cuadrados y sus grados de libertad asociados con
la variable respuesta Y .
La medida de variacin de Y alrededor de su media muestral Y
es:
n
X
SCT =
(Yi Y )2
i=1
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

la cual se le llama suma total de cuadrados. Si todas las observaciones Yi son iguales entonces la SCT = 0. Entre ms
variacin exista entre las Yi0 s, mayor ser la SCT.
Cuando se usa la variable predictora o regresora X , la variacin
que refleja la incertidumbre con respecto a la variable Y est
dada por las diferencias entre las observaciones Yi0 s y la lnea
bi , es decir, por Yi Y
bi .
de regresin ajustada Y
La medida de variacin presente en las observaciones Yi0 s cuando se tiene en cuenta la variable regresora X , es la suma de
desviaciones al cuadrado, la cual se denota por SCE y est dada por:

Ingeniera Industrial

Regresin lineal simple

logo

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

SCE =

n
X

bi )2
(Yi Y

i=1

y a la cual se le llama, suma cuadrtica de errores. Si todas las


Yi0 s caen sobre la lnea de regresin ajustada, entonces
SCE = 0. Entre mayor es la variacin de las Yi0 s alrededor de la
lnea de regresin ajustada, mayor es la SCE.
A la diferencia entre la SCT y la SCE se le llama, suma cuadrtica de regresin y se denota por, SCR y est definida por:
SCR =

n
X

bi Y )2
(Y

i=1

La SCR es una medida de la parte de la variabilidad de las Yi0 s,


la cual est asociada con la lnea de regresin ajustada.
Ingeniera Industrial

Regresin lineal simple

logo

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Desarrollo formal de la particin


A partir de la siguiente igualdad
bi + Y
bi Y
Yi Y = Yi Y
Elevando al cuadrado a ambos lados, se obtiene lo siguiente:
bi )2 + (Y
bi Y )2 + 2(Yi Y
bi )(Y
bi Y )
(Yi Y )2 = (Yi Y
y tomando sumatorias a ambos lados se tiene que:
n
X
i=1

(Yi Y )2 =

n
n
X
X
bi )2 +
bi Y )2
(Yi Y
(Y
i=1

i=1
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

es decir, se obtiene la identidad fundamental del anlisis de varianza, la cual est dada por:
SCT = SCR + SCE
Para obtener la anterior igualdad se ha utilizado el hecho de
que:
n
X

bi )(Y
bi Y ) = 0,
2(Yi Y

i=1

pues,
n
X

bi )(Y
bi Y ) =
(Yi Y

i=1

n
X

bi (Yi Y
bi )
Y

i=1

n
X
i=1

Ingeniera Industrial

n
X

bi )
Y (Yi Y

i=1

bi ei Y
Y

n
X

ei = 0

i=1
Regresin lineal simple

logo

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

El anlisis de varianza, divide la variabilidad observada en la


muestra en dos partes:
SCT = SCR + SCE,
donde,
SCT: Variabilidad muestral total y tiene n 1 grados de libertad,
SCR: Variabilidad explicada por el modelo o por las variables
regresoras X y tiene 1 grados de libertad,
SCE: Variabilidad no explicada por el modelo o error y tiene n2
grados de libertad.
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Medias cuadrticas o cuadrados medios


Las medias cuadrticas se obtienen como las SS divididas por
sus respectivos grados de libertad, es decir que
CMR =

SCR
1

: Cuadrado medio de la regresin,

CME =

SCE
n2

: Cuadrado medio del error.

logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Tabla resumen de anlisis de varianza


Ahora se presenta la tabla resumen del anlisis de varianza (o
ANOVA) para el modelo de RLS.
F.V
Regresin
Error
Total

G.L
1
n-2
n-1

SC
SCR
SCE
SCT

CM
CMR
CME

Fc =

Est. F
F(1,n2)

CMR
CME

logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Prueba de Significancia de la regresin


Para realizar la siguiente prueba de hiptesis, tambin llamada
prueba de significancia de la regresin,
Hiptesis
H0 : 1 = 0 vs H1 : 1 6= 0,
se utiliza la siguiente estadstica de prueba:



SCR
/1
2 /1
2

Fc = 
= 2 1
SCE
n2 /(n 2)
/(n 2)
2

SCR/1
CMR
=
=
F(1,n2)
SCE/(n 2)
CME
Ingeniera Industrial

Regresin lineal simple

logo

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Lo anterior se justifica debido a que, si 1 = 0, tal que todas


las Yi0 s tienen la misma media = 0 y la misma varianza ,
entonces SCE/ 2 y SCR/ 2 son variables aleatorias independientes.
cuando H0 es cierto, esta Fc es el cociente de dos variables independientes chi-cuadrados, cada una dividida por sus respectivos grados de libertad, lo cual es la definicin de una variable
aleatoria con distribucin F de Fisher Snedecor.
La regla de decisin para la prueba de significancia de la regresin es:
Rechazar H0 si Fc > F(,1,n2) .
Si rechazamos H0 , es decir que existe una asociacin lineal entre X y Y.
Ingeniera Industrial

Regresin lineal simple

logo

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Observacin: Se puede verificar la siguiente relacin entre la


b
estadstica Fc y la estadstica tc = Sb1 utilizada para prueba de
hiptesis individuales acerca de 1

"

b1
Fc = [tc ]2 =
Sb

#2

Para la demostracin se utilizan las siguientes igualdades:


SCR = b1 Sxx , y Sb =
1

CME
Sxx
logo

Ingeniera Industrial

Regresin lineal simple

Anlisis de regresin
Interpretacin del modelo de regresin lineal simple RLS
Estimacin de los Parmetros del MRLS
Inferencia acerca de los parmetros del MRLS
Anlisis de varianza en modelos de RLS

Referencias
Montgomery D.C. Design and Analysis of Experiment. Limusa
Wiley, 2001, 5 Edition.
Montgomery D.C y Runger G.C. Probabilidad y Estadstica Aplicadas a la Ingeniera. 2003, tercera edicin.

logo

Ingeniera Industrial

Regresin lineal simple

You might also like