EL MODELO DE REGRESIN LINEAL MLTIPLE

1 Ajuste mnimo-cuadrtico del hiperplano de regresin

En el modelo de regresin mltiple que vamos a presentar se considera que el regresando es una funcin lineal de k-1 regresores y de una perturbacin aleatoria, existiendo adems un regresor ficticio correspondiente al trmino independiente. Designando por Yt al regresando, por X2t, X3t, ..., Xkt a los regresores y por ut a la perturbacin aleatoria, el modelo terico de regresin lineal viene dado, para la observacin genrica t-sima, por la siguiente expresin: Modelo de regresin mltiple

Yt = 1 + 2 X 2t +

+ k X kt +ut

t = 1, 2,

,T

(1)

Siendo T el tamao de la muestra y dando valores a t desde t=1 hasta t=T, se obtiene el siguiente sistema de ecuaciones: Y1 = 1 + 2 X 21 + 3 X 31 + Y2 = 1 + 2 X 22 + 3 X 32 + YT = 1 + 2 X 2T + 3 X 3T +
+ k X k 1 + u1 + k X k 2 + u2 + k X kT + uT

(2)

El sistema de ecuaciones anteriores se puede expresar de forma ms compacta utilizando notacin matricial. As, vamos a denominar
Y1 Y y = 2 ... YT 1 X 21 1 X 22 X= ... ... 1 X 2T X 31 X 32 ... X 3T ... X k 1 ... X k 2 ... ... ... X kT 1 = 2 ... T u1 u u = 2 ... uT

El modelo de regresin lineal mltiple (1) expresado en notacin matricial es el siguiente: Y1 1 X 21 Y 1 X 22 2 = ... ... ... YT 1 X 2T X 31 X 32 ... X 3T ... X k 1 1 u1 ... X k 2 2 u2 + ... ... ... ... ... X kT T uT

(3)

Si tenemos en cuenta las denominaciones dadas a vectores y matrices, el modelo de regresin lineal mltiple se puede expresar de forma compacta de la siguiente forma:

y = X + u

(4)

donde y es un vector T 1 , X es una matriz T k , es un vector T 1 y u es un vector T x 1. El correspondiente modelo ajustado ser el siguiente

y = X

(5)

El vector de residuos es igual a la diferencia entre valores observados y ajustados, es decir,

u = y - y = y - X

(6)

Denominando S a la suma de los cuadrados de los residuos, se tiene que:

u1 u T ... u T ] 2 = ut2 ... t =1 u T

S = uu = [u 1 u 2

(7)

Teniendo en cuenta (6), se obtiene

S = (y - X)(y - X) = = y'y - Xy - y X + XX = y y - 2Xy + XX

(8)

Para llegar a la ltima igualdad de la expresin anterior se ha tenido en cuenta que Xy = y X ya que un escalar es igual a su traspuesto, es decir, (Xy ) = y X Aplicar el criterio mnimo-cuadrtico expuesto anteriormente es equivalente a minimizar el escalar S. Para ello se calcula la primera derivada de S con respecto al vector de coeficientes mnimo-cuadrticos, , en la expresin (8) 1 y se iguala a 0 :

Para la derivacin de escalares, expresados mediante productos matriciales, respecto a un vector, vase el anexo 1 de Econometra aplicada.

S = - 2Xy + 2 XX = 0 Por tanto,

(9)

XX = Xy

(10)

Al sistema anterior se le denomina genricamente sistema de ecuaciones normales del hiperplano. Cuando k=2, se obtiene el sistema de ecuaciones normales de la recta; cuando k=3, se obtiene el sistema de ecuaciones normales del plano; finalmente, cuando k>3, se obtiene especficamente el sistema de ecuaciones normales del hiperplano el cul no es susceptible de ser representado fsicamente. En notacin matricial expandida el sistema de ecuaciones normales, es el siguiente:
T T X 2t t =1 T X t =1 kt
Obsrvese que: a) XX / T es la matriz de momentos muestrales de segundo orden, con respecto al origen, de los regresores. b). Xy / T es el vector de momentos muestrales de segundo orden, con respecto al origen, entre el regresando y los regresores.

X 2t
t =1 T

X
t =1

2 2t

X
t =1

kt

X 2t

T X kt Yt t =1 1 t =1 T T X 2t X kt 2 X 2tYt = t =1 t =1 k T T 2 X Y X kt t =1 kt t t =1 ...
T

(11)

premultiplicar ambos miembros de (10) por [ XX ]

Para poder resolver el sistema (10) respecto a unvocamente, se debe cumplir que el rango de la matriz XX sea igual a k. Si se cumple esta condici6n, se pueden
1

[ XX]

1 XX = [ XX ] Xy

con lo cual se obtiene la expresin del vector de estimadores mnimo-cuadrticos:

1 = [ XX ] Xy

(12)

S presenta un mnimo en , ya que la matriz de segundas derivadas, 2 XX , es definida positiva. Para comprobarlo, consideremos el vector a, de orden k 1 , distinto de cero. Entonces,
3

aXXa = [ Xa ] [ Xa ]

ser el producto escalar del vector [ Xa ] su transpuesto, producto que no ser negativo, por ser una suma de cuadrados. Si el rango de XX es k, entonces queda garantizado que dicho producto es positivo. Por otra parte, al ser XX definida positiva, se sigue, evidentemente, que 2 XX tambin es definida positiva.

2. Propiedades descriptivas en la regresin lineal mltiple

Las propiedades que se exponen a continuacin son propiedades derivadas exclusivamente de la aplicacin del mtodo de estimacin por mnimos cuadrados al modelo de regresin (1) en el que se incluye como primer regresor el trmino independiente. 1. La suma de los residuos mnimo-cuadrticos es igual a cero: u
t =1 T t

=0

(13)

Demostracin.

Por definicin de residuo

ut = Yt Yt = Yt 1 2 X 2t k X kt t = 1, 2, ,T

(14)

Si sumamos para las T observaciones se obtiene: u = Y T

t =1 t t =1 t T T 1

2 X 2t
t =1

k X kt
t =1

(15)

Por otra parte, la primera ecuacin del sistema de ecuaciones normales (11) es igual a T 1 + 2 X 2t +
t =1 T

+ k X kt = Yt
t =1 t =1

(16)

Al comparar (15) y (16), se concluye que necesariamente debe cumplirse (13). Obsrvese que, al cumplirse (13), se cumplir tambin que

Yt = Yt
t =1 t =1

y, al dividir por T, Y =Y (17)

2. El hiperplano de regresin pasa necesariamente por el punto ( Y , X 2 ,

, X k ).

En efecto, dividiendo la ecuacin (16) por T se obtiene:

Y = 1 + 2 X 2 + + k X k (18)

3. Los momentos de segundo orden entre cada regresor y los residuos son iguales a 0. Para el conjunto de los regresores se puede expresar as: Xu = 0 Demostracin. En efecto, Xu = X y - X = Xy - XX = Xy - Xy = 0 Para llegar a la ltima igualdad se ha tenido en cuenta (6). (19)

4. Los momentos de segundo orden entre y y los residuos son 0, es decir,

y u = 0
Demostracin. En efecto, si se tiene en cuenta (16) y (20) resulta que (20)

y u = X u = Xu = 0 = 0

3 Hiptesis estadsticas bsicas del modelo

I Hiptesis sobre la forma funcional
Yt = 1 + 2 X 2t +

+ k X kt +ut

t = 1, 2,

,T

o, en forma matricial,

y = X + u

(21)

II Hiptesis sobre el vector de perturbaciones aleatorias

La perturbacin aleatoria ut es una variable aleatoria no observable. a) La esperanza matemtica del vector de perturbaciones aleatorias es cero.

E (u) = 0
b) Las perturbaciones aleatorias son homoscedsticas

(22)

E (ut ) 2 = 2

t = 1, 2, , T

(23)

c) Las perturbaciones aleatorias con distintos subndices son independientes entre s. E (ut us ) = 0 ts

(24)

La formulacin de las hiptesis b) y c) permiten especificar la matriz de covarianzas del vector de perturbaciones. (La matriz de covarianzas de un vector que contiene T variables aleatorias es una matriz cuadrada y simtrica de orden T T , en cuya diagonal principal aparecen las varianzas de cada uno de los elementos del vector y fuera de la diagonal principal aparecen las covarianzas entre cada par de elementos.) En concreto, la matriz de covarianzas del vector de perturbaciones es la siguiente:

E [u E (u) ][u E (u) ] = E [u 0][u 0] = E [u ][u ] u1 u = E 2 [u1 u2 uT E (u12 ) E (u1u2 ) 2 E (u2u1 ) E (u2 ) = E (uT u1 ) E (uT u2 ) u12 u1u2 2 uu u2 uT ] = E 2 1 uT u1 uT u2 E (u1uT ) 2 0 E (u2uT ) 0 2 = 2 E (uT ) 0 0 u1uT u2uT 2 uT 0 0 2

Para llegar a la ltima igualdad se ha tenido en cuenta que las varianzas de cada uno de los elementos del vector es constante e igual a 2 de acuerdo con (23) y que las covarianzas entre cada par de elementos es 0 de acuerdo con (24). El resultado anterior se puede expresar de forma sinttica: E (uu) = 2 I d) La perturbacin aleatoria tiene una distribucin normal multivariante Todas las hiptesis sobre el vector de perturbaciones se pueden formular de la siguiente forma:
u ~ N (0, 2 I ) (26)

(25)

III Hiptesis sobre el regresor X a) La matriz de regresores, X, es una matriz fija. De acuerdo con esta hiptesis, los distintos regresores del modelo toman los mismos valores para diversas muestras del regresando. ste es un supuesto fuerte en el caso de las ciencias sociales, en el que es poco viable experimentar. Los datos se obtienen por observacin, y no por experimentacin. Para que dicho supuesto se cumpliera, los regresores deberan ser susceptibles de ser controlados por parte del investigador. Es importante sealar que los resultados que se obtienen utilizando este supuesto se mantendran prcticamente idnticos si supusiramos que los regresores son estocsticos, siempre que introdujramos el supuesto adicional de independencia entre los regresores y la perturbacin aleatoria. Este supuesto alternativo se puede formular as: a*) La matriz de regresores, X, se distribuye independientemente del vector de perturbaciones aleatorias

E ( Xu) = 0
b) La matriz de regresores, X, tiene rango k.

(27)

( X) = k

(28)

Recordemos que la matriz de regresores contiene k columnas, correspondientes a los k regresores del modelo, y T filas, correspondientes al nmero de observaciones. La hiptesis b) tiene dos implicaciones: 1. El nmero de observaciones, T, debe ser igual o mayor que el numero de regresores, k. 2. Todas las columnas de la matriz de regresores deben ser linealmente independientes, lo cual implica que no puede existir una relacin lineal exacta entre ningn subconjunto de regresores. En caso contrario, el rango de la matriz X sera menor que k, y, por tanto, la matriz XX sera singular (carecera de inversa), con lo cual no se podran determinar los valores del vector de estimadores de los parmetros del modelo. Si se diera este caso se dice que existe multicolinealidad perfecta. Si existe una relacin lineal aproximada es decir, no exacta , entonces se pueden obtener estimaciones de los parmetros, si bien la fiabilidad de los mismos quedara afectada. En este ltimo caso se dice que existe multicolinealidad no perfecta. c) La matriz de regresores, X, no contiene errores de observacin o de medida sta es una hiptesis que raramente se cumple en la prctica, ya que los instrumentos de medicin en economa son escasamente fiables (pinsese en la multitud de errores que es posible cometer en una recogida de informacin, mediante encuesta, sobre los presupuestos familiares). Aunque es difcil encontrar instrumentos para contrastar esta hiptesis, la naturaleza del problema y, sobre

todo, la procedencia de los datos utilizados pueden ofrecer evidencia favorable o desfavorable a la hiptesis enunciada. IV Hiptesis sobre el vector de parmetros El vector de parmetros es constante. Si no se adopta esta hiptesis el modelo de regresin sera muy complicado de manejar. En todo caso, puede ser aceptable que los parmetros del modelo se mantienen estables en el tiempo (si no se trata de perodos muy extendidos) o en el espacio (si est relativamente acotado).

4 Propiedades probabilsticas del modelo

Distribucin del regresando
El regresando es funcin lineal del vector de perturbaciones aleatorias, que, por la hiptesis II d), sigue una distribucin normal. Por lo tanto, el regresando, y, seguir tambin una distribucin normal. La esperanza matemtica de y, teniendo en cuenta la hiptesis II a)2, viene dada por E (y ) = E [ X + u ] = X + E (u) = X (29)

La matriz de varianzas covarianzas, teniendo en cuenta las hiptesis II a) a II c), sern Var (y ) = E ( y X )( y X ) = E (uu) = 2 I (30)

En consecuencia, e1 regresando, y, tiene una distribucin normal multivariante con vector de medias y con una matriz de varianzas-covarianzas,

2I , escalar.
y ~ N (X, 2 I ) (31)

Distribucin y propiedades del vector de estimadores

Teniendo en cuenta (12) y (21), podemos expresar el vector de estimadores en funcin del vector de perturbaciones:
1 1 = [ XX ] X [ X + u ] = + [ XX ] Xu

(32)

Las hiptesis de los bloques III y IV se tendrn implcitamente en cuenta, aunque no se mencionen.

Aplicando el operador esperanza a la expresin (32), teniendo en cuenta que y X son no aleatorios y aplicando (22), se obtiene
1 E () = + [ XX ] XE (u) =

(33)

La matriz de varianzas-covarianzas del vector de estimadores mnimocuadrticos viene dada por

Var () = E E () E () = E
1 1 1 1 = E [ XX ] XuuX [ XX ] = [ XX ] XE [uu] X [ XX ]

(34)
1

= [ XX ] X 2 IX [ XX ] = 2 [ XX ] XX [ XX ] = 2 [ XX ]
1 1 1 1

En la deduccin anterior se han tenido en cuenta (32) y (33), adems de las hiptesis de homoscedasticidad y no autocorrelacin recogidas en (25).

De acuerdo con lo anterior, el vector de estimadores, , tiene una distribucin normal multivariante con vector de medias y matriz de varianzascovarianzas 2 [ XX]1 , es decir ~ N (, 2 [ XX]1 )
(35)

Las propiedades que se van a enunciar a continuacin son propiedades que se deducen conjuntamente de la aplicacin del mtodo de estimacin de mnimos cuadrados y de las hiptesis estadsticas bsicas formuladas en el epgrafe 3. Los estimadores mnimo-cuadrticos, si se cumplen las hiptesis estadsticas bsicas son estimadores lineales, insesgados y ptimos3. a) El vector de estimadores, , es un estimador lineal:

El vector de estimadores, , de acuerdo con (32) se puede expresar del siguiente modo = + Au
donde A = [ XX ] X
1

(36)

Puesto que X es una matriz de regresores fijos, segn la hiptesis III a), tambin lo ser la matriz A. Por tanto, la expresin (36) muestra que el vector

El cumplimiento de la hiptesis de normalidad no es necesario para que los estimadores mnimocuadrticos tengan estas propiedades.

es una combinacin lineal del vector de perturbaciones, y, en consecuencia, es un estimador lineal. b) El vector de estimadores, , es un estimador insesgado En efecto, de acuerdo con (33),

E () =

(37)

Es decir, es un estimador insesgado, ya que la esperanza del vector de estimadores es igual al vector parmetros que trata de estimar.
c) Dentro de la clase de estimadores lineales e insesgados, tiene mnima varianza, es decir, es un estimador ptimo o eficiente (teorema de GaussMarkov). Esta propiedad, que no demostraremos, se puede enunciar de forma global para el vector de estimadores de la siguiente forma: E E (38)

donde es cualquier otro vector arbitrario de estimadores que cumpla la propiedad de ser lineal e insesgado. La propiedad anterior implica que las varianzas de cada uno de los estimadores mnimo-cuadrticos son inferiores, o a lo sumo iguales, a las varianzas de cualquiera otros estimadores que sean lineales e insesgados. Es decir, se cumplir que
var( i ) var( i ) i = 1, 2, , k

(39)

donde i y i son elementos de los vectores y respectivamente

Distribucin del vector de residuos

Teniendo en cuenta (6) y (12), vamos a expresar el vector de residuos en funcin del regresando
1 1 u = y - X = y - X [ XX ] Xy = I - X [ XX ] X y = My

(40)

donde
1 M = I - X [ XX ] X

(41)

10

donde M es una matriz idempotente. (Una matriz idempotente A se caracteriza por cumplir estas dos propiedades: a) A = A ; b) AA = A ) De forma alternativa se puede expresar el vector de los residuos en funcin del vector de las perturbaciones:
1 1 u = I - X [ XX ] X y = I - X [ XX ] X [ X + u ] 1 1 = X - X [ XX ] XX + u X [ XX ] X u

(42)
1

= X - X + I X [ XX ] X u = I X [ XX ] X u = Mu
1

La esperanza del vector de residuos es la siguiente: E [u ] = E [ Mu ] = ME [u ] = M0 = 0 y su matriz de covarianzas viene dada por Var [u ] = E [uu] = E [ MuuM] = ME [uu] M = M 2 IM = 2 MM = 2 M En consecuencia, el vector u tiene la siguiente distribucin: u ~ N (0, 2 M ) (45) (44) (43)

Estimacin de la varianza de las perturbaciones

La varianza de las perturbaciones es, de acuerdo con la hiptesis II b), se mantiene constante para las T perturbaciones aleatorias. Al igual que el vector de coeficientes ( ) del modelo de regresin, la varianza de las perturbaciones ( 2 ) es un parmetro desconocido. En ambos casos es necesario estimarlos. Para la estimacin de se utilizan las observaciones muestrales sobre el regresando y los regresores; para la estimacin de 2 se utilizan los residuos obtenidos a partir de la regresin mnimo cuadrtica. Para ver cul es el estimador ms conveniente de 2 , vamos a analizar previamente las propiedades de la suma de cuadrados de los residuos, que es precisamente el numerador de la varianza residual. De acuerdo con (42), la suma de cuadrados de los residuos los podemos expresar de la siguiente forma

uu = uMMu = uMu

(46)

11

Con objeto de tener informacin para poder construir un estimador insesgado de 2 , vamos a calcular la esperanza matemtica de la expresin anterior:

E [uu ] = E [uMu ] = trE [uMu ] = E [truMu ] = E [trMuu] = trME [uu] = trM 2 I = trM = (T k )
2 2

(47)

En la deduccin anterior se han utilizado las siguientes propiedades del operador traza (tr), que se define como la suma de los elementos de la diagonal principal de una matriz cuadrada: a) La traza de un escalar es el mismo escalar, ya que un escalar se puede considerar como una matriz de orden 11 , con lo que coincide su diagonal principal con el propio escalar. b) tr ( AB) = tr (BA) La propiedad b) permite calcular la trM , segn se ve a continuacin:
1 1 trM = tr IT T X [ XX] X = trIT T trX [ XX] X = trIT T trI k k = T k

(48)

Del resultado obtenido en (47), despejando se obtiene que

2 =

E [uu ] T k

(49)

A la vista de la expresin anterior, un estimador insesgado de la varianza vendr dado por

2 = uu , T k

(50)

puesto que, de acuerdo con (47),

2 uu E (uu) (T k ) 2 2) = E E ( = T k = T k = , T k

(51)

El denominador de (50) son los grados de libertad correspondientes a la suma de cuadrados de los residuos que aparecen en el numerador. Este resultado est justificado por el hecho de que las ecuaciones normales del hiperplano imponen k restricciones sobre los residuos. Por lo tanto, el nmero de grados de libertad de la suma de cuadrados de los residuos es igual al nmero de observaciones (T) menos el nmero de restricciones (k).

12

Estimacin de la matriz de covarianzas de los estimadores

La matriz de covarianzas de los estimadores (terica), como puede verse en (34), es funcin del parmetro desconocido 2 . Cuando se sustituye 2 por su estimador 2 se obtiene un estimador de matriz de covarianzas de los estimadores:
uu Var () = 2 [ XX]1 = [ XX]1 T k

(52

El estimador anterior es un estimador insesgado, ya que

E (Var ()) = E ( 2 )[ XX]1 = 2 [ XX]1 = Var ()

(53)

La varianza de un coeficiente individual i , vendr dada por

2 v ii = uu ii v T k

(54)

donde v ii es el elemento ii-simo de la diagonal principal de la matriz [ XX]1 . As pues, los elementos de esta ltima matriz los hemos denominado de la siguiente forma:
v11 v12 21 v v 22 1 [ XX] = k1 vk 2 v v1k v2k v kk

13