Regresión lineal simple: conceptos básicos

REGRESIN LINEAL SIMPLE
Conceptos
D
r
.

M
a
r
i
o

L
e
o
n
c
i
o

A
r
r
i
o
j
a

R
o
d
r
g
u
e
z

m
l
a
r
r
i
o
j
a
@
g
m
a
i
l
.
c
o
m
1
CONCEPTOS BSICOS
2
Dr. Mario Leoncio Arrioja Rodrguez
mlarrioja@gmail.com
Cuando se tiene una variable, llamada dependiente, cuyos
resultados son un valor promedio de una funcin de una o ms
variables no aleatorias, llamadas independientes, se tiene que
recurrir a un tipo de tcnicas que permitan modelar esta situacin.
Existen dos formas de obtener estos modelos:
Funciones determinsticas.
Funciones probabilsticas.
Si la funcin es de tipo lineal, en la cual el exponente de las variables
independientes no es mayor de uno, el modelo se denomina de
regresin lineal, si no es el caso entra en lo que se denomina
superficies de respuesta. Si solo existe una variable independiente
se llama simple y si son dos o ms se les llama mltiple.
MODELO GENERAL
3
mlarrioja@gmail.com
Cuando se busca un modelo en el cual se tiene una sola
variable independiente, y sta es una funcin lineal, el modelo
se puede expresar de la forma:
y una observacin particular estar dada por:
donde es el error aleatorio con media cero y la misma
varianza de la poblacin, que representa todas las variables
que no entran en el modelo, por no poderse incluir a todas y
afectar mnimamente a Y, lo que hace que no sea una
representacin exacta de la realidad.
0 1
i i i
y x = + +
0 1
( )
i
E y x = +
SUPUESTOS DEL MODELO
4
mlarrioja@gmail.com
La variable dependiente es una variable aleatoria, cuyo
valor promedio est determinado por la variable
independiente.
La relacin entre las variables dependiente e
independiente es lineal.
Las varianzas de las distribuciones condicionales de la
variable dependiente, para diversos valores de la
variable independiente, son iguales. Propiedad llamada
Homoscedasticidad.
Si se desea aplicar estadstica inferencial, se debe cumplir
adicionalmente con el supuesto de:
Las distribuciones condicionales de la variable
dependiente, para diversos valores de la variable
independiente, son todas distribuciones normales para
la poblacin de valores.
EJEMPLO
5
mlarrioja@gmail.com
El gerente de produccin de una
fbrica quiere desarrollar un
modelo para predecir el tiempo
de eficiencia para una tarea
manual de montaje basada en el
tiempo de capacitacin.
Se seleccion, mediante
muestreo aleatorio simple, una
muestra de 18 empleados, a
quienes se les someti a un
programa de capacitacin,
posteriormente se les tom el
tiempo en que realizaron dicha
tarea, obtenindose los datos que
se muestran en la tabla:
OBSERVACI N TI EMPO DE
ENTRENAMI ENTO
( HORAS) X
TI EMPO DE
EFI CI ENCI A
( MI NUTOS)
Y
1 27 19
2 24 16
3 12 12
4 22 17
5 13 10
6 29 19
7 14 15
8 20 14
9 16 15
10 21 21
11 22 14
12 25 22
13 23 22
14 18 15
15 20 14
16 15 15
17 13 16
18 20 15
TCNICA
6
mlarrioja@gmail.com
Realizar los clculos necesarios para efectuar las inferencias que se deseen
(estimacin puntual, estimacin por intervalos, prueba de hiptesis).
Evaluar lo adecuado del modelo para el problema analizado.
Calcular los valores de los parmetros en base a las frmulas establecidas
al ajustar el modelo por mnimos cuadrados.
Dibujar un diagrama de dispersin, el cual permite una primera aproximacin
para averiguar si se cumplen algunos de los supuestos del modelo.
Obtener los datos a travs de procedimientos probabilsticos
Aplicacin
D
r
.

M
a
r
i
o

L
e
o
n
c
i
o

A
r
r
i
o
j
a

R
o
d
r
g
u
e
z

m
l
a
r
r
i
o
j
a
@
g
m
a
i
l
.
c
o
m
7
APLICACIN DE LA TCNICA: OBTENCIN DE DATOS
8
mlarrioja@gmail.com
Se debe obtener el suficiente nmero de datos para poder
desarrollar el modelo, el tamao ptimo depende de
muchos factores, para determinarlo se puede utilizar
cualquiera de las frmulas establecidas en las tcnicas de
Estadstica Inferencial.
Aun cuando la variable independiente se puede establecer
a voluntad, es necesario que el orden en que se realicen
las observaciones sea aleatorio.
2
2
Z
n
e

| |
=
|
\ .
2
2
S
n
e
t
| |
=
|
\ .
APLICACIN DE LA TCNICA: DIAGRAMA DE DISPERSIN
El diagrama de dispersin permite evaluar visualmente si el supuesto
de linealidad se cumple. Lo cual aun cuando puede hacerse a mano es
preferible utilizar herramientas computacionales.
Relacin lineal positiva.
9
14
19
24
9 19 29 39
9
Dr. Mario Leoncio Arrioja Rodrguez mlarrioja@gmail.com
Relacin lineal negativa. Relacin lineal curvilnea.
No relacin lineal
APLICACIN DE LA TCNICA: ESTIMACIN DE LOS PARMETROS DEL MODELO
10
mlarrioja@gmail.com
Para lograrse una nica solucin se incorpora la restriccin de
que la suma de las distancias de los puntos a la recta debe ser
mnimo.
( )
i i i
y y =
1
0
n
i
i
=
=
2
1
n
i
i
mnimo
=
=
0 1
i i i
y x = + +
Por ellos a los estimadores obtenidos se les conoce como
estimadores de mnimos cuadrados:
XX
XY
i
S
S
X Y
X Y
=
=
+ =
1
1 0
1 0

n
Y X
Y X S
X n X S
n
i
i
n
i
i
n
i
i i XY
n
i
i XX
|
.
|
\
|
|
.
|
\
|
=
=

= =
=
=
1 1
1
2
1
2
11
mlarrioja@gmail.com
Los clculos se pueden hacer en la hoja de clculo
APLICACIN DE LA TCNICA: COMPROBAR LO ADECUADO DEL MODELO
12
mlarrioja@gmail.com
Para realizar la comprobacin algunos de los supuestos del
modelo se efecta el anlisis de residuales, el cual consiste en
realizar grficas de los residuales considerando el orden de
ejecucin o cualquier otra variable que se considere relevante
Aun cuando pueden utilizarse directamente los valores
originales, es mejor utilizar los mtodos que utilicen residuales
escalados. Para ello se estandarizan o se estudentizan, la
primera opcin se muestra a continuacin.
( )
2
2
1 1
n n
residuales i i
i i
SC SCE y y e
= =
= = =

2
2
SCE SCE
CME
n p n
= = =

2
1, 2,...,
i
i
e
d i n
= =
13
mlarrioja@gmail.com
Las pruebas que se hacen sobre el residual son:
Para buscar evidencias de que no se distribuye
como una normal :
graficndolos en papel de probabilidad normal
Si se estandarizan, se debe verificar que el 95%
de ellos caen en el intervalo de (-2, +2)
Si se tienen suficientes datos utilizar tcnicas
como bondad de ajuste o Kolmogorov.
Para buscar falta de homoscedasticidad,
linealidad y aleatoriedad, se pueden graficar,
dejando al error siempre en el eje Y, mientras en el
eje X se puede poner:
Como una serie de tiempo, en el orden que
fueron obtenidos
Los valores estimados de y
i
,
La variable independiente x
i
.
14
mlarrioja@gmail.com
Para los datos del ejemplo:
-1.500
-1.000
-0.500
0.000
0.500
1.000
1.500
2.000
0 5 10 15 20
-4.00
-3.00
-2.00
-1.00
0.00
1.00
2.00
3.00
4.00
5.00
0 5 10 15 20
Respecto al orden de los datos sin estandarizar
Respecto al orden de los datos estandarizados
La falta de aleatoriedad es prueba de que la
realizacin del experimento fue afectado por
alguna causa asignable.
15
mlarrioja@gmail.com
Anlisis de Residuales:
-1.500
-1.000
-0.500
0.000
0.500
1.000
1.500
2.000
0 5 10 15 20
Respecto a la Variable Independiente
Respecto al orden de los datos estndarizados
-1.500
-1.000
-0.500
0.000
0.500
1.000
1.500
2.000
10 15 20 25 30
Residual vs. Capacitacin
-1.500
-1.000
-0.500
0.000
0.500
1.000
1.500
2.000
10.00 12.00 14.00 16.00 18.00 20.00 22.00
Residual vs. Estimado
Respecto a los Valores Estimados
16
mlarrioja@gmail.com
Coeficiente de Determinacin.
Se utiliza para medir el grado de variabilidad de la variable
dependiente, que es explicado por la variable independiente, despus
de probar que s se cumplen con los supuestos del modelo. Este
coeficiente se puede calcular mediante:
2
1
SCR SCE
R
SCT SCT
= =
1 xy
SCR S =
SCT SCR SCE = +
El valor cercano a 1 significa que explica mucho de la variabilidad, y si
tiende a cero es que no la explica. Al aumentar el nmero de
variables tiende a 1 sin importar que tan significativas son, para
evitarlo se usa el coeficiente corregido.
Donde:
2
1
1
Ajustado
yy
SCE
n p
R
S
n
| |
|
\ .
=
| |
|
\ .
2
1 2
1
n
i
n
i
yy i
i
y
S y
n
=
=
| |
|
\ .
=


EJEMPLO
17
mlarrioja@gmail.com
Se sabe que el tiempo de
estudio est relacionado con el
nmero de respuestas
correctas.
Se desea obtener un modelo
que permita predecir el
resultado que podran obtener
un grupo en particular, por lo
que se seleccionan a 8
alumnos, asignndoles
aleatoriamente ciertas horas
de estudio y posteriormente se
registra el nmero de aciertos
en una prueba, los resultados
se muestran en la tabla.
OBSERVACI N
TI EMPO DE
ENTRENAMI ENT
O ( HORAS)
X
TI EMPO DE
EFI CI ENCI A
( MI NUTOS)
Y
1 2 47
2 3 72
3 3 87
4 4 110
5 5 119
6 6 162
7 8 195
8 9 234
18
mlarrioja@gmail.com
Los clculos utilizando una hoja de clculo son
0
50
100
150
200
250
0 2 4 6 8 10
19
mlarrioja@gmail.com
Para realizar la comprobacin algunos de los supuestos del
modelo se requiere calcular los residuales.
( )
2
2
1 1
n n
residuales i i
i i
SC SCE y y e
= =
= = =

2
2
SCE SCE
CME
n p n
= = =

20
mlarrioja@gmail.com
Aun cuando pueden utilizarse directamente los valores, es mejor
utilizar los mtodos que utilicen residuales escalados. Para ello
se estndarizan o se estudentizan, la primera opcin se muestra
a continuacin.
2
1, 2,...,
i
i
e
d i n
= =
-15
-10
-5
0
5
10
15
0 2 4 6 8 10
Orden de Ejecucin
21
mlarrioja@gmail.com
Anlisis de Residuales:
Respecto a la Variable Independiente
Respecto a los Valores Estimados Respecto al orden de los datos y residuales
estndarizados
-1.5
-1
-0.5
0
0.5
1
1.5
0 2 4 6 8 10
-1.5
-1
-0.5
0
0.5
1
1.5
0 2 4 6 8 10
-1.5
-1
-0.5
0
0.5
1
1.5
0 50 100 150 200 250
2
1
SCR SCE
R
SCT SCT
= =
1 xy
SCR S =
SCT SCR SCE = +
SCR SCT R
2
28204.4545 28663.5000 0.9840
2
1
1
Ajustado
yy
SCE
n p
R
S
n
| |
|
\ .
=
| |
|
\ .
2
1 2
1
n
i
n
i
yy i
i
y
S y
n
=
=
| |
|
\ .
=

SCE Syy R
2
cor
459.0455 28,663.5 0.9813
22
mlarrioja@gmail.com
Anlisis de Varianza
Esta tcnica tambin permite evaluar lo adecuado del
modelo, los clculos se resumen en la siguiente Tabla
ANDEVA / ANOVA
SCR SCT
28204.4545 28663.5000
SCE
459.0455
Fuente de
Variacin
Suma de
Cuadrados
Grados de
Libertad
Cuadrado
Medio
F
0
Regresin SCR 1 SCR/1 CMR/CME
Residual SCE n-2 SCE/n-2
Total SCT n-1
Fuente de
Variacin
Suma de
Cuadrados
Grados de
Libertad
Cuadrado
Medio
F
0
Regresin 28,204.45 1 28,204.45 368.65
Residual 459.05 6 76.51
Total 28,663.5 7
Si F
0
>F
, 1, n-2
el modelo es adecuado
APLICACIN DE LA TCNICA: REALIZACIN DE INFERENCIAS
23
mlarrioja@gmail.com
Las tcnicas estadsticas inferenciales de Estimacin por
Intervalos y de Prueba de Hiptesis se aplican inicialmente
a los parmetros del modelo.
1 2, 2 1 1 2, 2

1
n n
xx xx
CME CME
t t
S S

| |
+ =
|
|
\ .
2 2
0 2, 2 0 0 2, 2
1 1

1
n n
xx xx
x x
t CME t CME
n S n S

| |
( (
|
+ + + =
( (
|

\ .
1
0
cte
xx
CME
S
t

=
0 1
1 1
:
:
cte
cte
H
H

=
0
0
2
1
cte
xx
x
CME
n S
t

=
(
+
(

0 0
1 0
:
:
cte
cte
H
H

=
2 , 2 0
>
n
t t

2 , 2 0
>
n
t t

Estadstico de Prueba
Estadstico de Prueba
Zona Crtica
Zona Crtica
APLICACIN DE LA TCNICA: REALIZACIN DE INFERENCIAS
24
mlarrioja@gmail.com
Intervalo de Confianza para la Varianza
2
2 2
2, 2 1 2, 2
( 2) ( 2)
1
n n
n CME n CME

| |

=
|
|
\ .
Intervalo de Confianza para la Respuesta Media
( )
( )
( )
2 2
0 0
2, 2 2, 2
1 1
1
i n i i n
xx xx
x x x x
y t CME E y y t CME
n S n S

| |
| | | |

|
+ + + = | |
| | |
\ . \ .
\ .
Intervalo de Confianza para el Valor Futuro
( )
( )
( )
2 2
0 0
2, 2 2, 2
1 1
1 1 1
i n i i n
xx xx
x x x x
y t CME E y y t CME
n S n S

| |
| | | |

|
+ + + + + = | |
| | |
\ . \ .
\ .
REGRESIN LINEAL
CONCEPTOS
Correlacin
25
Cuando la variable independiente es una variable aleatoria, el
modelo se denomina de correlacin.
Si su distribucin es normal, todas las frmulas analizadas
anteriormente se le aplican, y:
REGRESIN LINEAL MLTIPLE
26
D
r
.

M
a
r
i
o

L
e
o
n
c
i
o

A
r
r
i
o
j
a

R
o
d
r
g
u
e
z

m
l
a
r
r
i
o
j
a
@
g
m
a
i
l
.
c
o
m
CONCEPTO
Se utiliza cuando existen dos o mas variables
independientes x
1
, x
2
, , x
k
que se creen tienen
influencia sobre una variable dependiente y
El modelo se puede representar por:
0 1 1 2 2
0 1 1 2 2
2
donde: i=1, 2, ..., n
...
( ) ...
( )
i i k ik i
i i k ik
y x x x
E y x x x
Var y

= + + + + +
= + + + +
=
27
Su representacin matricial es:
Bajo el supuesto de normalidad se escribira:
(
(
(
(
=
n
Y
Y
Y
2
1
Y
(
(
(
(
=
nk n n
k
k
x x x
x x x
x x x
2 1
2 22 21
1 12 11
X
0
1
k
(
(
(
=
(
(

(
(
(
(
=
n
2
1
X Y + =
) , (
) , (
2
2
I 0
I X Y

N
N

EL MODELO
28
Las ecuaciones normales seran
La solucin del vector beta sera:
As la ecuacin de la regresin sera
Un estimador insesgado de la varianza es
( ) Y X X X

=
( ) Y X X X

=
1
X Y =
m n
S
=
Y X Y Y
2
MODELO
29
El coeficiente de correlacin Lineal Mltiple es:
Donde:
T SC
SCE
SCT
SCR
R
= = 1
2
n
Y
Y Y SCT
SCE
n
Y
SCR
n
i
i
n
i
i
2
1
2
1
|
.
|
\
|
=
|
.
|
\
|
=
=
Y X Y Y
Y X
MODELO
30
y x
1
x
2
24 10 30
27 15 25
29 10 40
31 20 18
25 25 22
33 18 31
26 12 26
28 14 34
31 16 29
39 22 37
33 24 20
30 17 25
25 13 27
42 30 23
40 24 33
REGRESIN LINEAL MLTIPLE: EJEMPLO
31
En un estudio para determinar el efecto que el ruido y la
intensidad de luz tienen en el tiempo en que se realiza
cierta operacin, se obtuvieron los siguientes datos
y beta 0 beta 1 beta 2
24 1 10 30
27 1 15 25
29 1 10 40
31 1 20 18
25 1 25 22
33 1 18 31
26 1 12 26
28 = 1 14 34 +
31 1 16 29
39 1 22 37
33 1 24 20
30 1 17 25
25 1 13 27
42 1 30 23
40 1 24 33
(
(
(

2
1
0
15
14
13
12
11
10
9
8
7
6
5
4
3
2
1

15 270 420
X'X = 270 5364 7347
420 7347 12308
X'X =
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
10 15 10 20 25 18 12 14 16 22 24 17 13 30 24
30 25 40 18 22 31 26 34 29 37 20 25 27 23 33
1 10 30
1 15 25
1 10 40
1 20 18
1 25 22
1 18 31
1 12 26
1 14 34
1 16 29
1 22 37
1 24 20
1 17 25
1 13 27
1 30 23
1 24 33
3.477904 -0.068572 -0.077748
(X'X)
-1
= -0.068572 0.002374 0.000923
-0.077748 0.000923 0.002183
EJEMPLO
32
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
10 15 10 20 25 18 12 14 16 22 24 17 13 30 24
30 25 40 18 22 31 26 34 29 37 20 25 27 23 33
X'Y=
24
27
29
31
25
33
26
28
31
39
33
30
25
42
40
463
8679
13027
X'Y=
=
|
|
|
.
|
\
|
2
1
0
(X'X)
-1
X'Y=
3.477904 -0.068572 -0.077748
-0.068572 0.002374 0.000923
-0.077748 0.000923 0.002183
463
8679
13027
2.311202
0.877205
0.455921
=
|
|
|
.
|
\
|
2
1
0

EJEMPLO
33
Y= 2.3112021
+ 0.877205 +
0.455921
X
1
X
2
Y
e=Y-Y
est
24
27
29
31
25
33
26
28
31
39
33
30
25
42
40
1.3783
-1.024723
2.886482
1.590502
-2.093373
1.431822
0.521228
0.517472
26.024723
39.113518
38.409498
-0.760871
0.132709
-0.320079
2.938132
-9.271574
0.765571
1.308403
29.568178
38.478772
32.482528
28.6217
34.271574
32.234429
24.691597
30.093373
24.760871
26.867291
29.320079
28.061868
Y
est
EJEMPLO
34
Funcin Espaol Ingls
Obtiene la matriz
Traspuesta
TRASPONER TRASPOSE
Calcula la matriz
inversa
MINVERSA MINVERSE
Permite multiplicar
matrices
MMULT MMULT
Las funciones que proporciona Excel para realizar
operaciones bsicas entre matrices son:
Las operaciones de suma y resta se hacen
directamente celda a celda.
FUNCIONES EN EXCEL
35
La forma ms simple de calcular los coeficientes para el
ajuste de una lnea recta a un conjunto de datos se
hace a travs de dos funciones:
Donde:
YsConocidas, es el vector de la variable dependiente
XsConocidas, es la matriz de las variables independientes
k, es el total de valores independientes
Valor de
k
:INDICE(ESTIMACION.LINEAL(YsConocidas,XsConocidas),1)

Valor de
1
:INDICE(ESTIMACION.LINEAL(YsConocidas,XsConocidas),k)
Valor de
0
:INDICE(ESTIMACION.LINEAL(YsConocidas,XsConocidas),k+1)
FUNCIONES EN EXCEL
36
D
r
.

M
a
r
i
o

L
e
o
n
c
i
o

A
r
r
i
o
j
a

R
o
d
r
g
u
e
z

m
l
a
r
r
i
o
j
a
@
g
m
a
i
l
.
c
o
m
MINITAB
37
D
r
.

M
a
r
i
o

L
e
o
n
c
i
o

A
r
r
i
o
j
a

R
o
d
r
g
u
e
z

m
l
a
r
r
i
o
j
a
@
g
m
a
i
l
.
c
o
m
REGRESIN LINEAL MLTIPLE:
MINITAB
En Minitab se utiliza el men y
ventanas emergentes para dar la
informacin que permite fcilmente
obtener el modelo y el anlisis de
residuales.
38
D
r
.

M
a
r
i
o

L
e
o
n
c
i
o

A
r
r
i
o
j
a

R
o
d
r
g
u
e
z

m
l
a
r
r
i
o
j
a
@
g
m
a
i
l
.
c
o
m
REGRESIN LINEAL MLTIPLE:
MINITAB
Ventanas de resultados de la regresin lineal mltiple
39
Este patrn... Indica...
No una lnea recta No normalidad
Curva en las colas Sesgo
Un punto alejado de la
lnea
Un valor atpico
Cambio de pendiente Una variable no identificada
Prctica OD-RL-01, Regresin Lineal por Frmula
Prctica OD-RL-02, Regresin Lineal por Funcin
Prctica OD-RL-03, Comprobacin del Modelo (Grficas de Residuales)
Prctica OD-RL-04, Comprobacin del modelo (Prueba de Normalidad)
Prctica OD-RL-05, Comprobacin del modelo (Coeficiente de
determinacin, tabla ANDEVA)
Prctica OD-RL-06, Regresin Lineal Simple (Intervalos de Confianza).
Plantear y resolver problemas de Regresin Lineal Simple en Excel
Plantear y resolver problemas de Correlacin Lineal Simple en Excel
Prctica OD-RM-01, Regresin Lineal Mltiple por Frmula
Prctica OD-RM-02, Regresin Lineal Mltiple por Funcin
Prctica OD-RM-02R, Regresin Lineal Mltiple por Funcin en R
Plantear y resolver problemas de Regresin Lineal Mltiple en Excel
y Minitab y Lenguaje R
Hacer ejercicios de clculo utilizando la aplicacin: Regresin Lineal
Simple Ejercitador
Actividades Recomendadas
40
D
r
.

M
a
r
i
o

L
e
o
n
c
i
o

A
r
r
i
o
j
a

R
o
d
r
g
u
e
z

m
l
a
r
r
i
o
j
a
@
g
m
a
i
l
.
c
o
m
Montgomery Pek y Vining, Introduccin al Anlisis de
Regresin, 3a. edicin, CECSA
FUENTES DE INFORMACIN
41
mlarrioja@gmail.com

Regresión lineal simple: conceptos básicos

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Regresión lineal simple: conceptos básicos

Uploaded by

Copyright:

Available Formats

REGRESIN LINEAL SIMPLE

REGRESIN LINEAL SIMPLE

REGRESIN LINEAL MLTIPLE

Dr. Mario Leoncio Arrioja Rodrguez mlarrioja@gmail.com

REGRESIN LINEAL MLTIPLE

You might also like