Universidade

de Vigo

Estimacin por mnimos cuadrados

generalizados
Modelo de regresin lineal Generalizado:
Generalizacin del modelo de regresin lineal
clsico

Introduccin a los estimadores MCG

Universidade
de Vigo

Dados los fallos que ocurren en las propiedades de los

estimadores MCO, surge la conveniencia de buscar

estimadores alternativos que verifiquen mejores
propiedades que los de MCO.
Este es el caso de los estimadores de Mnimos cuadrados
generalizados (MCG).
Para construirlos basta observar una propiedad del nuevo
modelo, que depende de la descomposicin de la matriz de
varianzas de las perturbaciones.

Descomposicin de la matriz de
varianzas de las perturbaciones

Universidade
de Vigo

La matriz de varianzas-covarianzas de las perturbaciones

viene dada por

S=s2W
Como W es definida positiva se puede descomponer
como potencia de una matriz simtrica invertible P tal
que
PP=P2=W

Transformacin del modelo de

regresin lineal generalizado

Universidade
de Vigo

Consideremos la inversa de esa matriz P, denotada por P-1.

Entonces premultiplicando las ecuaciones del modelo de regresin
generalizado obtenemos que

P -1 y = P -1 X + P -1

Cambiando los nombres de las variables, el modelo quedar de la siguiente

forma

y = X +
*

Por tanto, de nuevo tenemos un modelo de regresin lineal donde cambian

las variables pero no los parmetros de la regresin.
Falta ver si cambia la ley de distribucin de las nuevas perturbaciones.

La ley de distribucin de las nuevas

perturbaciones
Es Normal por ser una transformacin lineal de una

Universidade
de Vigo

normal.
Su esperanza es nula pues
E(u*)=P-1 E(u)=0
Su varianza vendr dada por
Var(u*)=P-1 Var(u) P-1 = P-1s2W P-1=
=s2P-1W P-1 = s2I
Por consiguiente, las nuevas perturbaciones son esfricas,
lo que significa que el nuevo modelo transformad es un
modelo de regresin lineal normal donde las variables son
diferentes de las originales.

Consecuencias

Universidade
de Vigo

El modelo de regresin lineal generalizado se obtiene a

partir del modelo de regresin lineal clsico

transformando las variables por una matriz simtrica
invertible.
Por lo tanto todas las propiedades el MRLC se
verificarn una vez transformado el modelo de partida.
Los estimadores de MCG se obtendrn como los
estimadores MCO en ese modelo transformado.
Las propiedades de los estimadores MCG sern las que
tenan los estimadores MCO en el MRLN

Estimadores MCG en el modelo

transformado
Consideremos el modelo

y = X +
*

Universidade
de Vigo

Donde las perturbaciones siguen leyes normales esfricas.

El estimador MCO de en ese modelo ser
bMCG=(X*X*)-1X*y*

Que puesto en funcin de las variables del modelo original ser:

bMCG=(XP-1 P-1X)-1 XP-1 P-1y=(XW-1X)-1 XW-1y

Estimadores de MCG en el MRLG

Universidade
de Vigo

Generalizando la transformacin al espacio residual se puede

definir el estimador de la siguiente forma:
Encontrar el mnimo en de SCEG() siendo
SCEG() = u'W-1u = (Y-X)'W-1(Y-X)
Partiendo de ese modelo se obtendran las Ecuaciones normales
generalizadas
(X'W-1X) = X'W-1Y
Y, como consecuencia los estimadores
bMCG = (X'W-1X)-1 X'W-1Y
que coinciden con los obtenidos previamente.

Estimadores MV en el MRLG

Universidade
de Vigo

La funcin de verosimilitud ahora ser:

F(y1,,yT/X)= (2p)-T/2|S|-1exp[-(yt-Xt)S-1(yt-Xt)/2]
Se demuestra que al maximizar esta funcin en y S los
estimadores son independientes y por consiguiente se puede
maximizar en y luego en S, por consiguiente maximizar en b
coincide con maximizar el exponente o lo que es lo mismo
minimizar el termino del parntesis que coincide con
minimizar el exponente en lo que equivale a obtener el
estimador de MCG, por lo tanto los estimadores de MV y
MCG coinciden para el parmetro .

Estimadores de MCG de la varianza

Universidade
de Vigo

Para estimar la parte comn de la matriz de varianzas

covarianzas de las perturbaciones, se hara directamente
partiendo del modelo transformado, pero teniendo en cuenta
que los residuos obtenidos ahora no coinciden con los MCO
2
SRMCG

e*' e *
u' P -1 P -1u u'W-1u
=
=
=
T - k -1 T - k -1 T - k -1

Siendo los residuos ahora calculados como

u=y-XbMCG

Propiedades de los estimadores

Universidade
de Vigo

Dado que son una generalizacin de los estimadores

MCO, sus propiedades van a generalizar estas.

Para facilitar su exposicin las dividiremos en tres
bloques:
Propiedades geomtricas de los estimadores de los

coeficientes de regresin que se derivan directamente de

las de MCO en el modelo transformado.
Propiedades de las varianzas.
Propiedades derivadas de la normalidad.

Propiedades geomtricas
1.

2.
3.

4.

5.

Universidade
de Vigo

El estimador de mnimos cuadrados generalizados es el mejor

estimador lineal insesgado (ELIO). Esto nos va a permitir afirmar que
los estimadores MCO no van a ser ELIO con seguridad en el MRLG.
Los valores estimados vienen dados por H1Y, siendo H1 la nueva matriz
de proyeccin.
Por tanto los valores estimados de la Y son una combinacin lineal de
las propias observaciones de la variable dependiente. Esto coincide con
MCO, pero ahora la matriz H es diferente.
Los residuos se definen como valor observado menos estimado y
vienen dados en forma matricial por M1Y, siendo M1 la nueva matriz
de proyeccin sobre el espacio residual.
Tanto H1 como M1 son matrices idempotentes y su producto es nulo.
Sin embargo no son simtricas como ocurra en el caso del MRLC.

Demostracin de las propiedades

geomtricas

Universidade
de Vigo

Todas ellas se van a derivar de las propiedades de los estimadores

MCO en el modelo transformado.

Sus propiedades se deducen del teorema de Aitken que es la
generalizacin del teorema de Gauss-Markov al caso del MRLG.
En l se demuestra que los estimadores MCG son ELIO, lo que
implica que los estimadores de MCO dejan de ser los mejores,
puesto que su varianza no coincide con la de los estimadores
MCG.
Por consiguiente remitiremos a l en todos los clculos y despus
se deshar la transformacin.

Demostracin del Teorema de Aitken

Universidade
de Vigo

El estimador MCG se puede escribir en el modelo

transformado como
bMCG=+(X*X*)-1X*u*
De ah se deriva directamente que es insesgado y lineal pues la
transformacin P-1 es lineal.
Todos los estimadores lineales e insesgados en el MRLG son
tambin lineales e insesgados en el modelo transformado.
Esto se comprueba de modo similar a como se vio que los estimadores

MCO eran lineales e insesgados en el MRLG

Como el estimador MCG es ptimo en los ELI del modelo

transformado, y todos los ELI del MRLG estn en el

transformado, ser ptimo en el MRLG

Proyecciones

Universidade
de Vigo

Sobre el espacio de las X

Los valores estimados vienen dados por H1Y, siendo H1 la nueva matriz de

proyeccin. Por tanto los valores estimados de laY son una combinacin
lineal de las propias observaciones de la variable dependiente.

y = XbMCG = X ( X ' W -1 X ) -1 X ' W -1 y = H1 y

En el espacio residual
Los residuos se definen como valor observado menos estimado y vienen dados en

forma matricial por M1Y, siendo M1 la nueva matriz de proyeccin sobre el

espacio residual

u = y - y = y - XbMCG =
= y - X ( X ' W -1 X ) -1 X ' W -1 y = ( I - H1 ) y =
= M1 y

Propiedades de las matrices de

proyeccin

Universidade
de Vigo

H1 es idempotente

H1 = X ( X ' W -1 X ) -1 X ' W -1
H12 = X ( X ' W -1 X ) -1 X ' W -1 X ( X ' W -1 X ) -1 X ' W -1 =
= X ( X ' W -1 X ) -1 X ' W -1 = H1
Si H1 es idempotente, entonces M1 tambin lo es por ser su

complementaria
H1 y M1 son ortogonales

H1 M1 = H1 ( I - H1 ) = H1 - H12 = H1 - H1 = 0
Sin embargo no son simtricas como ocurra en el caso del MRLC.

Propiedades de las varianzas

Universidade
de Vigo

La varianza de los estimadores depende de la inversa de la matriz

de diseo por su traspuesta ponderadas por la inversa de la
matriz de varianzas-covarianzas.
Var(bMCG)=s2(X'W-1X)-1
2. La varianza de los valores estimados depende de la parte comn
de la varianza de las perturbaciones pero ya no depende
directamente de la matriz de proyecciones.
1.

Var(YE)= s2X(X'W-1X)-1X's2H1
3. La varianza de los residuos depende directamente de la parte
comn de la varianza de las perturbaciones pero no de la matriz
M1 de proyecciones sobre el espacio ortogonal a las X.
Var(u)=s2(W-X(X'W-1X)-1X') s2M1

ANOVA en el MRLG

Universidade
de Vigo

La suma ponderada por la inversa de la matriz de varianzas-

covarianzas de cuadrados de la variable dependiente se puede

descomponer en dos sumandos: la SCEG y otra cantidad que
denominaremos suma generalizada de cuadrados debida a la
regresin
SCYG = SCRegG + SCEG
siendo

SCYG=Y'W-1Y
SCEG=u'W-1u
SCRegG=YE'W-1YE

El coeficiente de determinacin en el
MRLG

Universidade
de Vigo

A partir de esta descomposicin se puede obtener una medida de

la bondad de ajuste de la regresin, desde un punto de vista

puramente geomtrico, pues

SC Re gG SCEG
SC Re gG
SCEG
1=
+

= 1SCYG
SCYG
SCYG
SCYG
que denominaremos Coeficiente de determinacin de Buse R2.

Este coeficiente -multiplicado por 100- nos da el porcentaje de variacin

total de la variable Y - en el sentido de su suma de las desviaciones
respecto del origen - explicado por la regresin de la variable Y respecto de
las X, utilizando una distancia matricial generalizada

Propiedades bajo normalidad

Universidade
de Vigo

Los estimadores de mnimos cuadrados generalizados siguen

una ley Normal
2. Los valores estimados de Y siguen una ley Normal
3. Los residuos de la regresin de mnimos cuadrados
ordinarios siguen una ley Normal
4. Los estimadores MCG de los coeficientes, bajo normalidad
coinciden con los estimadores MV en el MRLG, y por lo
tanto sern eficientes dentro de todos los insesgados y
suficientes.
1.

Leyes de distribucin

Universidade
de Vigo

Por consiguiente tendramos las siguientes leyes de

distribucin:
bMCG siguen una ley N (,s2(X'W-1X)-1)
Y estimado siguen una ley Normal de parmetros

(X,s2(X(X'W-1X)-1X'))
Los residuos MCG siguen una ley normal de parmetros
(0,s2(W-X(X'W-1X)-1X'))

Ejemplo
Los beneficios (despus de impuestos) suelen ser una

Universidade
de Vigo

parte de las ventas, cuyo cociente nos da el margen neto

de la empresa. Para calcular cual es en promedio en una
serie de empresas del sector de la alimentacin se tienen
datos de las ventas y los beneficios durante el ao 2004.
Calcular cual seria ese margen promedio estimado
Si se sabe que el tamao de la empresa afecta generando
una variabilidad mayor en las empresas grandes que en
las pequeas. El efecto del tamao sobre la variabilidad
se conoce que s del 20%. Calcular si el margen
promedio seguira siendo el mismo.
Comparar ambos estimadores, Cul seria mas eficiente?

Modelo de solucin
Los beneficios son una parte de las ventas, por tanto:

Beneficios=*ventas+e
Se estima por MCO.
Si la varianza depende linealmente de las ventas
Var(e )=0,2*ventas
Se estima por MCG.

Universidade
de Vigo

Calculo por MCO

XX
3525.000
IXX
0.2836879E-03
B
0.3631206

TB

DATA
21.025

Universidade
de Vigo

Estimador de
MCO, nos mide el
margen neto
PDF
CDF
0.28555E-05 0.99998

1-CDF
0.15123E-04

Calculo por MCG: matriz de varianzas covarianzas de

Universidade
las perturbaciones
de Vigo

OMEGA
5 BY
6.400000
0.000000
0.000000
0.000000
0.000000
IOMEGA
5 BY
0.156250
0.000000
0.000000
0.000000
0.000000

5 MATRIX
0.000000
4.800000
0.000000
0.000000
0.000000

0.000000
0.000000
6.000000
0.000000
0.000000

0.000000
0.000000
0.000000
4.000000
0.000000

0.000000
0.000000
0.000000
0.000000
5.000000

5 MATRIX
0.000000
0.208333
0.000000
0.000000
0.000000

0.000000
0.000000
0.166666
0.000000
0.000000

0.000000
0.000000
0.000000
0.250000
0.000000

0.000000
0.000000
0.000000
0.000000
0.200000

Calculo por MCG

XOX
655.0000
Estimador de
IXOX
MCG, nos mide el
0.001526718
margen neto
BG
0.3587786
DATA
PDF
CDF
1-CDF
TBG 8.8850 0.0001915 0.99956 0.00044329

Universidade
de Vigo

Comparacin entre ambos

Parmetros

MCO

MCG

0.3631206

0.3587786

SB

0.01727063

0.04038048

TB

21.02532

8.884951

S2

1.051418

1.068032

Comparacin de residuos
EMCO

EMCG

0.3801418

0.5190840

0.2851064

0.3893130

1.106383

1.236641

-1.262411

-1.175573

-1.078014

-0.9694656

Universidade
de Vigo

Estimacin MCG cuando la

varianza es desconocida
Estimadores de mnimos cuadrados generalizados factibles

Universidade
de Vigo

Estimacin MCGF

Universidade
de Vigo

Cuando la varianza no es conocida necesitamos estimarla previamente.

En general, a este tipo de estimadores, los denominaremos de mnimos

cuadrados generalizados factible (MCGF).
El estimador tiene la forma genrica

-1 X ) -1 X ' W
-1 y
bMCG = ( X ' W
Puesto que los escalares de la matriz de covarianzas no afectan al

estimador.
En cada caso se trata de encontrar un estimador consistente de W.
Por consiguiente el mtodo de estimacin se suele hacer en dos pasos:
1.
2.

Se estima la matriz de covarianzas W

Se calcula el estimador de MCGF sustituyendo el valor de W por su
estimador

Mtodos de estimacin MCGF

Universidade
de Vigo

Una vez obtenido el estimador de W, lo normal para calcular el

estimador MCGF consiste en buscar la transformacin que nos

permita hacer uso de los estimadores MCO, es decir se busca
una matriz P de tal forma que
W =PP
Se toma el estimador de P y se transforma el modelo mediante
esa matriz.
Se calcula el estimador MCO en el modelo transformado.
Ese suele ser el estimador MCGF en dos pasos.
Lo calcularemos para los diferentes casos, es decir
autocorrelacin y heterocedasticidad, peor antes veamos las
propiedades genricas de estos estimadores.

Propiedades de los estimadores

MCGF

Universidade
de Vigo

Las propiedades de este tipo de estimadores dependen de las

propiedades del estimador de la varianza. Normalmente si se

consigue que este sea consistente se verifican las siguientes
propiedades:
Consistentes
Asintticamente normales
Asintticamente insesgados
Asintticamente eficientes

Puesto que estos estimadores convergen asintticamente al

estimador MCG.
Pero no verifican propiedades exactas en pequeas muestras.

Tratamiento de la autocorrelacin
Estimadores MCGF: Mtodo de Cochran-Orcutt, Prais-Wisten,
Malla
Estimadores e MV

Universidade
de Vigo

Tratamiento de la autocorrelacin

Universidade
de Vigo

Como, en general, no conocemos los parmetros que caracterizan

la matriz de varianzas-covarianzas de las perturbaciones tendremos

que estimarlos, lo que nos har perder eficiencia en pequeas
muestras.
Vamos a considerar diferentes casos, segn estimemos por MCGF o
por MV.
Para los estimadores MCG, la idea bsica consiste en buscar cual es
la matriz de transformaciones que nos transforma el modelo
generalizado en un modelo clsico. Esa transformacin se conoce
con el nombre de transformacin de Cochran-Orcutt.

Forma matricial del modelo lineal con

autocorrelacin

Universidade
de Vigo

Escribiendo en forma matricial lo anterior tendramos que

Y=X+n; siendo n una N(0, S)

n -1
1
...

n-2

1
...

2
=s

... ... ... ...

n -1 ... ...

Por consiguiente estaramos en un caso particular del modelo de

regresin lineal generalizado. Sus efectos sern consecuencia de ello.

Estimador de MCGF bajo

autocorrelacin

Universidade
de Vigo

El estimador de MCGF tiene la forma genrica de

-1 X ) -1 X ' W
-1 y
bMCG = ( X ' W
El nico parmetro que interviene en dicha matriz es el

parmetro r, por consiguiente debemos encontrar un

estimador consistente de l.
Despus debemos buscar una matriz P que permita
descomponer la matriz W en PP.
Una forma de conseguir esa matriz consiste en hacer uso de
la transformacin de Cochran-Orcutt.

Matriz de transformacin de CochraneOrcutt

Universidade
de Vigo

Si fuera conocido la matriz S-1 se comprueba que se descompone en

S-1 =s-2 GG(1-2 )-1
Siendo G la matriz siguiente, que a su vez se puede particionar en dos
submatrices:
1- 2

G =
0

0
1
-
.

.
0
1
.

.
.
.
.

.
.
.
.

. -

1- 2

0
0

0 =
.

1

G*

La submatriz de Cochrane-Orcutt

Universidade
de Vigo

Se descompone de esa forma puesto que es interesante analizar el

comportamiento de la matriz G*, que es propiamente la transformacin de

C-O.

Dicha matriz tiene la diagonal principal todo 1.

La diagonal secundaria inferior todo .
El resultado de multiplicar G* por una variable cualquiera z nos dara la diferencia

entre el valor actual y el valor retardado multiplicado por .

G*z=zt-zt-1
Esto nos permite obtener una transformacin directa sobre las

variables originales del modelo, es decir, se le aplica a la variable

dependiente a cada una de las independientes obteniendo de forma
directa el modelo transformado.
Como en el clculo de la matriz inversa de S, adems de G aparecen
solo escalares, al modelo obtenido mediante las transformaciones
anteriores se le puede aplicar la estimacin de MCO para obtener el
estimador MCG correspondiente.

Transformacin de Cochrane-Orcutt

Universidade
de Vigo

Las transformaciones de cada variable seran en conjunto:

Para la dependiente

y * = 1 - 2 y
*
1
yt = Gyt 1*
y t = yt - yt -1

T=2,...T

Para las independientes

*
2

x
=
1

x j1
j1
*
xt = Gxt
*
x

jt = x jt - x jt -1 T=2,...T

Que se puede observar que coincide con la transformacin de C-O

salvo en el primer elemento.

Modelo resultante

Universidade
de Vigo

Fruto de la transformacin de C-O (sin contar la primera

observacin), nos quedara el siguiente modelo

yt = (1 - ) + xt - xt-1 + yt -1 + e t
Es decir la variable dependiente depende de las independientes, de

las independientes retardadas un periodo y de la dependiente

retardada un periodo.
Este modelo es el mismo que se obtiene directamente del modelo
de autocorrelacin de orden 1, sustituyendo las perturbaciones
autocorreladas, lo que nos sirve tambin para comprobar la validez
de la transformacin.

Procedimiento de Cochrane-Orcutt en
dos pasos

Universidade
de Vigo

Cuando es desconocido, el problema es determinar el valor de

en la prctica. Este procedimiento consiste en dos etapas

En la primera se estima mediante MCO o un mtodo alternativo
En la segunda etapa se estima el modelo transformado, sustituyendo
el parmetro por sus estimadores de la primera etapa.
El modelo resultante sera:

y2 - y1 1 x2 - x1
e2

(1 - )
+ :
:
:

= :

y - y 1 x - x e
T -1
T
T -1
T

T
Perdiendo la primera observacin

Procedimiento de Cochrane-Orcutt en
dos pasos (2)

Universidade
de Vigo

Por tanto, se estima en la primera etapa y perdiendo la

primera observacin, se hacen las transformaciones de C-O,

esto es
yt* = G * yt y *t = yt - yt -1
xt* = G * xt xt* = xt - xt -1
Una vez hecha la transformacin se aplica de nuevo MCO a

la regresin de la Y transformada respecto a las X

transformadas.

Estimacin inicial del coeficiente de

autocorrelacin

Universidade
de Vigo

La estimacin del coeficiente de autocorrelacin se puede hacer de

diferentes formas.
Todas ellas asintticamente equivalentes, pero con algunas diferencias
en pequeas muestras.
Van a depender de los siguientes factores:
La eficiencia del estimador
La capacidad de clculo
La robustez del modelo

Consideramos cuatro opciones:

1. El coeficiente de autocorrelacin simple
2. El coeficiente de autocorrelacin simple corregido
3. El mtodo de Durbin-Watson
4. La estimacin conjunta

El coeficiente de autocorrelacin
simple

Universidade
de Vigo

Las dos primeras opciones son muy similares, puesto que se trata

de estimar mediante el coeficiente de autocorrelacion muestral,

puesto que es un estimador consistente. La diferencia est en el
nmero de observaciones utilizado, pero no afecta cuando la
muestra es grande.
El coeficiente de autocorrelacin simple de primer orden, es decir
se calcula la suma de los productos cruzados de los residuos por
los residuos retardados, y se divide entre la suma de residuos al
cuadrado

ei ei -1
i =2

2
e
i
i =1

Se subestima en parte, al haber mas sumandos en el denominador

que en el numerador

El coeficiente de autocorrelacin simple

corregido

Universidade
de Vigo

Para paliar el problema anterior, se hace uso del coeficiente de

autocorrelacin simple de primer orden, pero corrigiendo el

denominador, para que tenga el mismo numero de observaciones
que el numerador.
T

= ei ei -1
i =2

2
e
i -1
i =2

El problema que e plantea es que las correcciones podran haberse

eliminando el ltimo residuo en vez del primero o combinando

ambas. No existe una regla que nos diga que este es mejor.
Se utiliza en muestras pequeas, pero dado que sus propiedades son
asintticas su efecto es prcticamente indiferente.

Mtodo de Durbin-Watson
El estimador que se obtiene a partir del estadstico de

Universidade
de Vigo

Durbin-Watson, ya que vimos que ste era una aproximacin

de una funcin del coeficiente de autocorrelacin simple.
Como el estimador d es un estimador consistente del calor
terico del estadstico, el estimador de r de este modo
tambin ser un estimador consistente.
Entonces el estimador, siendo d el estadstico DW, ser:
r= 1- d/2
Este mtodo es una aproximacin, pero tampoco se puede
demostrar que sea mas eficiente que los otros mtodos

Estimacin conjunta

Universidade
de Vigo

Se estima a partir de la ecuacin de regresin transformada

yt = (1 - ) + 1 xt - 2 xt -1 + yt -1 + e t
restringida a 1 = 2
Es el mtodo mas eficiente pero tambin el que exige mas
clculo
En la prctica solo se utiliza cuando se buscan estimadores
MV que busca la estimacin de todos los parmetros
conjuntamente.

Estimacin de RHO
?ols y x1 x2/resid=e predict=ye rstat dwpvalue noanova
gen1 N=$N
gen1 DW=$DW
gen1 rhodw=1-dw/2
gen1 rho1=$rho
RHO1=
g elag=lag(e)
g ee1=(e*elag)
RHODW=
g e2=e*e
RHO1A=
stat e2/sum=se2a beg=1 end=40
RHO1B=
stat e2/sum=se2b beg=1 end=39
stat ee1/sum=se1 beg=2 end=40
RHOCJ =
gen1 rho1a=se1/se2a
gen1 rho1b=se1/se2b
|_auto y x1 x2 / dn ml noanova iter=2
Conjunta
MAXIMUM LIKELIHOOD ESTIMATION
40 OBSERVATIONS
BY COCHRANE-ORCUTT TYPE PROCEDURE WITH CONVERGENCE = 0.00100
ITERATION
RHO
LOG L.F.
SSE
1
0.00000
-4.43019
2.9227
2
0.65818
8.56528
1.5046
LOG L.F. =
8.56528
AT RHO =
0.65818

Universidade
de Vigo

0.6563030
0.6690766
0.6521211
0.6563030
0.65818

Procedimiento de C-O iterativo

Universidade
de Vigo

1: Se estiman los residuos, generalmente por OLS.

2: Se estima a partir de la correlacin entre los residuos.
3: Se transforman los datos segn C-O utilizando la matriz G* (por
tanto, se elimina el primer trmino)
4: Se estiman por OLS los coeficientes en el modelo transformado
5: Se reestiman los residuos por OLS entre las variables
transformadas.
6: Se repiten de la Fase 2 a la 4 hasta que los residuos no presenten
autocorrelacin.
La iteracin mejora la eficiencia de los estimadores por lo que los
estimadores iniciales son secundarios, siempre y cuando estn
todos en un entorno cercano al ptimo.

Problemas de ptimo de

Universidade
de Vigo

Mnimo
parcial

SCE()

Mnimo
global

Iniciando ah
converge al mnimo
global

Iniciando ah
converge al mnimo
local parcial

Estimacin por CO para las telas

|_auto y x1 x2/drop noanova
REQUIRED MEMORY IS PAR=
7 CURRENT PAR=
4000
DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS
LEAST SQUARES ESTIMATION
39 OBSERVATIONS
BY COCHRANE-ORCUTT TYPE PROCEDURE WITH CONVERGENCE = 0.00100
ITERATION
RHO
LOG L.F.
SSE
1
0.00000
-4.81313
2.9227
2
0.65630
9.06698
1.4343
3
0.70292
9.15983
1.4275
4
0.70428
9.15991
1.4275
5
0.70433
9.15991
1.4275
LOG L.F. =
9.15991
AT RHO =
0.70433
ASYMPTOTIC ASYMPTOTIC ASYMPTOTIC
ESTIMATE
VARIANCE
ST.ERROR
T-RATIO
RHO
0.70433
0.01292
0.11367
6.19627
R-SQUARE =
0.9832
R-SQUARE ADJUSTED =
0.9823
VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.39654E-01
STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.19913
SUM OF SQUARED ERRORS-SSE=
1.4275
MEAN OF DEPENDENT VARIABLE =
14.330
LOG OF THE LIKELIHOOD FUNCTION = 9.15991
VARIABLE
ESTIMATED STANDARD
T-RATIO
PARTIAL STANDARDIZED ELASTICITY
NAME
COEFFICIENT
ERROR
36 DF
P-VALUE CORR. COEFFICIENT AT MEANS
X1
0.50315
0.8772E-02
57.36
0.000 0.995
0.9737
0.2455
X2
0.11461
0.1126E-01
10.18
0.000 0.861
0.1737
0.0574
CONSTANT
10.032
0.1466
68.44
0.000 0.996
0.0000
0.7001

Universidade
de Vigo

Procedimiento de Prais-Winsten
Consiste en una mejora del procedimiento anterior

trabajando con la matriz G en vez de G*

Por tanto, se tiene en cuenta la primera observacin
Esto mejora la eficiencia en pequeas muestras.
En muestras grandes apenas se nota.

Universidade
de Vigo

Estimacin por PW para las telas

|_sample 1 40
|_read Y X1 X2
3 VARIABLES AND
40 OBSERVATIONS STARTING AT OBS
1
|_auto y x1 x2/noanova
REQUIRED MEMORY IS PAR=
7 CURRENT PAR=
4000
DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS
LEAST SQUARES ESTIMATION
40 OBSERVATIONS
BY COCHRANE-ORCUTT TYPE PROCEDURE WITH CONVERGENCE = 0.00100
ITERATION
RHO
LOG L.F.
SSE
1
0.00000
-4.43019
2.9227
2
0.65630
8.55719
1.5054
3
0.70231
8.67597
1.4921
4
0.70320
8.67661
1.4920
LOG L.F. =
8.67661
AT RHO =
0.70320
ASYMPTOTIC ASYMPTOTIC ASYMPTOTIC
ESTIMATE
VARIANCE
ST.ERROR
T-RATIO
RHO
0.70320
0.01264
0.11242
6.25532
R-SQUARE =
0.9824
R-SQUARE ADJUSTED =
0.9815
VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.40324E-01
STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.20081
SUM OF SQUARED ERRORS-SSE=
1.4920
MEAN OF DEPENDENT VARIABLE =
14.330
LOG OF THE LIKELIHOOD FUNCTION = 8.67661
VARIABLE
ESTIMATED STANDARD
T-RATIO
PARTIAL STANDARDIZED ELASTICITY
NAME
COEFFICIENT
ERROR
37 DF
P-VALUE CORR. COEFFICIENT AT MEANS
X1
0.50342
0.8848E-02
56.90
0.000 0.994
0.9742
0.2456
X2
0.11307
0.1130E-01
10.01
0.000 0.855
0.1714
0.0567
CONSTANT
9.9919
0.1441
69.35
0.000 0.996
0.0000
0.6973

Universidade
de Vigo

Procedimiento de malla

Universidade
de Vigo

Es un procedimiento iterativo, que se puede aproximar hasta el error

que se desee.
Normalmente se prefija inicialmente.
Los pasos que se dan son los siguientes

1. Se va variando el valor de desde -1 a +1 con incremento de 0,1 y realizar

para cada uno el primer paso del procedimiento C-O, y calcular la suma de
cuadrados de los residuos.
2. Elegiremos las dos estimaciones consecutivas que minimicen dicha suma.
3. Se repite el procedimiento tomando el paso con incrementos de 0,01 en los
estimadores obtenidos en el paso 2 hasta una nueva minimizacin de la suma
de cuadrados
4. Este proceso se repite hasta obtener el error deseado.
Normalmente exige mucho clculo y no mejora la aproximacin
No obstante sirve para ver si el valor inicial de r nos acerca al

mximo global, ya que cubrimos todo el espectro de valores de

Estimacin por malla para las telas: 1

malla
REQUIRED MEMORY IS PAR=
7 CURRENT PAR=
4000
DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS
LEAST SQUARES ESTIMATION
40 OBSERVATIONS
BY GRID SEARCH TO ACCURACY OF .01
ITERATION
RHO
LOG L.F.
1
-0.90000
-26.5475
2
-0.80000
-24.1327
3
-0.70000
-21.7917
4
-0.60000
-19.4405
5
-0.50000
-17.0538
6
-0.40000
-14.6215
7
-0.30000
-12.1396
8
-0.20000
-9.60824
9
-0.10000
-7.03329
10
0.00000
-4.43019
Maximizacin
de
la
11
0.10000
-1.82998
12
0.20000
0.713450
funcin
de
13
0.30000
3.11662
verosimilitud
14
0.40000
5.26304
15
0.50000
7.00736
16
0.60000
8.19174
17
0.70000
8.67402
18
0.80000
8.35471
19
0.90000
7.15689

Universidade
de Vigo

Minimizacin de la
suma de cuadrados
de los errores
SSE
8.4728
7.6300
6.8466
6.1219
5.4548
4.8439
4.2872
3.7825
3.3281
2.9227
2.5657
2.2576
1.9993
1.7923
1.6379
1.5377
1.4925
1.5034
1.5709

Estimacin por malla para las telas: 2

malla
ITERATION
20
21
22
23
24
25
Minimizacin
de la
26
suma de 27
cuadrados
de los28
errores
29
30
31
32
Maximizacin
33 de la
funcin
34 de
35
verosimilitud
36
37
38
39

RHO
0.61000
0.62000
0.63000
0.64000
0.65000
0.66000
0.67000
0.68000
0.69000
0.70000
0.71000
0.72000
0.73000
0.74000
0.75000
0.76000
0.77000
0.78000
0.79000
0.73000

LOG L.F.
8.27360
8.34827
8.41565
8.47561
8.52805
8.57286
8.60995
8.63923
8.66061
8.67402
8.67937
8.67659
8.66563
8.64642
8.61890
8.58302
8.53871
8.48593
8.42462
8.66563

Universidade
de Vigo

SSE
1.5306
1.5242
1.5183
1.5129
1.5081
1.5039
1.5002
1.4971
1.4945
1.4925
1.4911
1.4902
1.4899
1.4901
1.4909
1.4923
1.4942
1.4967
1.4998
1.4899

Estimacin por malla para las telas

LOG L.F. =

Universidade
de Vigo

AT RHO =
0.73000
ASYMPTOTIC ASYMPTOTIC ASYMPTOTIC
ESTIMATE
VARIANCE
ST.ERROR
T-RATIO
RHO
0.73000
0.01168
0.10806
6.75535
R-SQUARE =
0.9825
R-SQUARE ADJUSTED =
0.9815
VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.40267E-01
STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.20067
SUM OF SQUARED ERRORS-SSE=
1.4899
MEAN OF DEPENDENT VARIABLE =
14.330
LOG OF THE LIKELIHOOD FUNCTION = 8.66563
VARIABLE

NAME
X1
X2
CONSTANT

ESTIMATED

8.66563

STANDARD

COEFFICIENT
ERROR
0.50340
0.8729E-02
0.11341
0.1115E-01
9.9888
0.1495

T-RATIO

37 DF
57.67
10.17
66.80

PARTIAL STANDARDIZED ELASTICITY

P-VALUE
0.000
0.000
0.000

CORR. COEFFICIENT
0.994
0.9742
0.858
0.1719
0.996
0.0000

AT MEANS
0.2456
0.0568
0.6970

Estimador de mxima verosimilitud

Normalmente el estimador MCG y el de MV coinciden,

Universidade
de Vigo

bajo normalidad, puesto que la matriz de varianzas

covarianzas es conocida.
No ocurre lo mismo cuando se habla de MCGF y MV,
aunque ambos son asintticamente equivalentes.
Aun suponiendo normalidad al incluir la autocorrelacin,
maximizar la funcin de logverosimilitud no es equivalente a
minimizar la suma de cuadrados.
La causa es que aparece un trmino que depende de que
no se tiene en cuenta al utilizar MCO, por lo tanto no van a
salir exactamente los mismo estimadores, aunque son
equivalentes asintticamente

Estimador de mxima verosimilitud

La funcin viene dada por

Universidade
de Vigo

Trmino que diferencia la

minimizacin de cuadrados y
la maximizacin de la
funcin

T
1
1
2
2
ln L(u ) - ln s e + ln(1 - ) - 2
e e
2
2
2
2s e (1 - )
Esto hace que los estimadores no coincidan.
Beach y McKinnon (1978) usan un procedimiento para

maximizar esta funcin, similar al de C-O iterativo, que

denominaremos de MV.
Generalmente los estimadores son mas eficientes, si el valor
inicial est bien definido

Estimacin por ML para las telas

|_auto y x1 x2 / dn ml noanova
REQUIRED MEMORY IS PAR=
7 CURRENT PAR=
4000
DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS
DN OPTION IN EFFECT - DIVISOR IS N
MAXIMUM LIKELIHOOD ESTIMATION
40 OBSERVATIONS
BY COCHRANE-ORCUTT TYPE PROCEDURE WITH CONVERGENCE = 0.00100
ITERATION
RHO
LOG L.F.
SSE
1
0.00000
-4.43019
2.9227
2
0.65818
8.56528
1.5046
3
0.71056
8.67943
1.4910
4
0.71158
8.67947
1.4909
5
0.71160
8.67947
1.4909
LOG L.F. =
8.67947
AT RHO =
0.71160
ASYMPTOTIC ASYMPTOTIC ASYMPTOTIC
ESTIMATE
VARIANCE
ST.ERROR
T-RATIO
RHO
0.71160
0.01234
0.11109
6.40570
R-SQUARE =
0.9825
R-SQUARE ADJUSTED =
0.9815
VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.37272E-01
STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.19306
SUM OF SQUARED ERRORS-SSE=
1.4909
MEAN OF DEPENDENT VARIABLE =
14.330
LOG OF THE LIKELIHOOD FUNCTION = 8.67947
ASYMPTOTIC
VARIABLE
ESTIMATED STANDARD
T-RATIO
PARTIAL STANDARDIZED ELASTICITY
NAME
COEFFICIENT
ERROR
-------P-VALUE CORR. COEFFICIENT AT MEANS
X1
0.50342
0.8473E-02
59.42
0.000 0.995
0.9742
0.2456
X2
0.11318
0.1082E-01
10.46
0.000 0.864
0.1716
0.0567
CONSTANT
9.9910
0.1400
71.34
0.000 0.996
0.0000
0.6972

Universidade
de Vigo

Comparacin de los estimadores del

coste variable de la tela
MCO
CO2
PW2

0.50688
0.50314
0.50347

ML2

0.50347

COI

0.50315

PWI

0.50342

Malla

0.50340

MLI

0.50342

Universidade
de Vigo

Estimacin para modelos

autocorrelados de orden superior

Universidade
de Vigo

El mtodo que as fcilmente se generaliza es el de mxima

verosimilitud, pues nicamente consiste en cambiar los parmetros

del modelo que se quiere estimar y el propio ordenador se encarga
de la optimizacin y bsqueda de soluciones, por ese motivo es el
mas usado en la prctica.

Yt = X t +n t

n t = n
1 t -1 + ... + mn t - m + e t
e sigue N (0, s 2 I )
En SHAZAM se hace con la opcin ORDER=m.

Estimacin para orden 3

|_auto y x1 x2 / dn ml order=3 noanova
DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS
REQUIRED MEMORY IS PAR=

10 CURRENT PAR= 2000

AUTOREGRESSIVE ERROR MODEL, ORDER= 3

..NOTE..USING LEAST SQUARES..ML OPTION NOT AVAILABLE
ITERATION 0 ESTIMATES AND ERROR SUM OF SQUARES
0.50688 0.92323E-01 10.124
0.0000
0.0000
0.0000
2.9227
ITERATION 1 ESTIMATES AND ERROR SUM OF SQUARES
0.49993 0.11789
9.9931 -0.78178 0.18927
-0.16251
1.4942
.
ITERATION 9 ESTIMATES AND ERROR SUM OF SQUARES
0.50171 0.11384
9.9286 -0.87009 0.31328
-0.21063
1.4522

Universidade
de Vigo

Estimacin para orden 3

Universidade
de Vigo

|_auto y x1 x2 / dn ml order=3 noanova

DEPENDENT VARIABLE = Y
..NOTE..R-SQUARE,ANOVA,RESIDUALS DONE ON ORIGINAL VARS

REQUIRED MEMORY IS PAR=

10 CURRENT PAR= 2000

AUTOREGRESSIVE ERROR MODEL, ORDER= 3

..NOTE..USING LEAST SQUARES..ML OPTION NOT AVAILABLE
ITERATION 0 ESTIMATES AND ERROR SUM OF SQUARES
0.50688

0.92323E-01 10.124

0.0000

2.9227

0.0000

0.0000

ITERATION 1 ESTIMATES AND ERROR SUM OF SQUARES

0.49993

0.11789

-0.16251

1.4942

9.9931

-0.78178

0.18927

ITERATION 2 ESTIMATES AND ERROR SUM OF SQUARES

0.50166

0.11387

-0.18358

1.4555

9.9497

-0.82266

0.27993

ITERATION 3 ESTIMATES AND ERROR SUM OF SQUARES

0.50175

0.11377

-0.20604

1.4528

9.9457

-0.86138

0.31088

ITERATION 4 ESTIMATES AND ERROR SUM OF SQUARES

0.50172

0.11376

-0.20567

1.4523

9.9340

-0.86145

0.30928

ITERATION 5 ESTIMATES AND ERROR SUM OF SQUARES

0.50171

0.11383

-0.20946

1.4522

9.9326

-0.86784

0.31242

ITERATION 6 ESTIMATES AND ERROR SUM OF SQUARES

0.50171

0.11382

-0.20945

1.4522

9.9298

-0.86806

0.31235

ITERATION 7 ESTIMATES AND ERROR SUM OF SQUARES

0.50171

0.11383

-0.21039

1.4522

9.9295

-0.86963

0.31310

RESIDUAL CORRELOGRAM
LM-TEST FOR HJ:RHO (J)=0,STATISTIC IS CHI-SQUARE(1)
LAG
RHO
STD ERR
T-STAT
LM-STAT
1
-0.0112
0.1581
-0.0710
0.1425
2
0.0062
0.1581
0.0392
0.0313
3
-0.0122
0.1581
-0.0775
0.0154
4
0.0581
0.1581
0.3675
0.3043
5
0.0990
0.1581
0.6263
0.5254
6
0.1291
0.1581
0.8167
0.8280
7
-0.0629
0.1581
-0.3977
0.2222
8
-0.2698
0.1581
-1.7064
4.2576
9
-0.1443
0.1581
-0.9129
1.3788
10
0.0224
0.1581
0.1420
0.0353
11
0.1307
0.1581
0.8267
1.1623
12
-0.0036
0.1581
-0.0229
0.0008
CHISQUARE WITH 12 D.F. IS
5.814

ITERATION 8 ESTIMATES AND ERROR SUM OF SQUARES

0.50171

0.11383

-0.21039

1.4522

9.9287

-0.86969

0.31308

ITERATION 9 ESTIMATES AND ERROR SUM OF SQUARES

0.50171

0.11384

-0.21063

1.4522

9.9286

-0.87009

0.31328

RHO
RHO
RHO

1
2
3

ESTIMATE
0.87009
-0.31328
0.21063

ASYMPTOTIC
VARIANCE ST.ERROR T-RATIO
0.02553
0.15978
5.44562
0.04228
0.20563 -1.52353
0.02679
0.16367
1.28688

Estimacin para orden 3

Universidade
de Vigo

|_auto y x1 x2 / dn ml order=3 noanova

R-SQUARE =
0.9829
R-SQUARE ADJUSTED =
0.9820
VARIANCE OF THE ESTIMATE-SIGMA**2 = 0.36305E-01
STANDARD ERROR OF THE ESTIMATE-SIGMA = 0.19054
SUM OF SQUARED ERRORS-SSE=
1.4522
MEAN OF DEPENDENT VARIABLE =
14.330

VARIABLE
NAME
X1
X2
CONSTANT

ASYMPTOTIC
ESTIMATED STANDARD
T-RATIO
COEFFICIENT
ERROR
-------0.50171
0.7437E-02
67.46
0.11384
0.8724E-02
13.05
9.9286
0.1380
71.92

PARTIAL STANDARDIZED ELASTICITY

P-VALUE CORR. COEFFICIENT AT MEANS
0.000 0.996
0.9709
0.2448
0.000 0.906
0.1726
0.0570
0.000 0.996
0.0000
0.6928