Tema 0

Econometra II 09/10
Estimacin por mxima verosimilitud y conceptos de
teora asinttica

1. ESTIMACIN POR MXIMA VEROSIMILITUD (MAXIMUM LIKELIHOOD)

La estimacin por Mxima Verosimilitud es un mtodo de

optimizacin que supone que la distribucin de probabilidad de las
observaciones es conocida.
La intuicin del principio de MV es la siguiente:
1. Dado el supuesto sobre la distribucin de las Yi , construimos la
verosimilitud (probabilidad conjunta) de observar la muestra que
tenemos. Esa probabilidad conjunta es una funcin de una serie de
parmetros desconocidos que caracterizan la distribucin.
2. Elegimos como estimadores MV aquellos valores de los parmetros
desconocidos que hacen mxima esa verosimilitud.

1. ESTIMACIN POR MXIMA VEROSIMILITUD (MAXIMUM LIKELIHOOD)

Se trata de construir la funcin de probabilidad conjunta (o

funcin de verosimilitud) de y1, y2, . Yn. Suponemos que las
observaciones son independientes y estn idnticamente
distribuidas (i.i.d.)
yi ~ f (yi; )

Si, para un determinado valor de , la verosimilitud es PEQUEA,

es poco probable que ese sea el valor correcto que ha generado los
datos que observamos.

Si, para un determinado valor de , la verosimilitud es GRANDE, es

bastante probable que ese sea el valor correcto que ha generado los
datos que observamos.

1. ESTIMACIN POR MXIMA VEROSIMILITUD (MAXIMUM LIKELIHOOD)

Por tanto tenemos que elegir el que maximiza L(). Es decir, el

estimador MV ser el que satisfaga la condicin de primer orden:

Lo cual es equivalente a maximizar el logaritmo de la funcin de

verosimilitud. Es decir, el estimador MV tambin satisface:
Generalmente, trabajamos con el
logaritmo de la verosimilitud por
razones prcticas.

EJERCICIO:
Estimador MV en el modelo de regresin lineal bajo el supuesto de normalidad.

f ( yi | xi , , )

1
2 2

( yi xi ' ) 2
2 2

Y
+ 2

1
=
Y

1 + 2Xi

1
X

EJERCICIO:
Estimador MV en el modelo de regresin lineal bajo el supuesto de normalidad.

1. Construimos la funcin de verosimilitud

2. Calculamos el logaritmo de la funcin de verosimilitud

EJERCICIO:
Estimador MV en el modelo de regresin lineal bajo el supuesto de normalidad.

3. Condiciones de primer orden

4. Estimadores

En este caso,

pero

1. ESTIMACIN POR MXIMA VEROSIMILITUD (MAXIMUM LIKELIHOOD)

VENTAJA: El estimador MV (ML=maximum likelihood) tiene

propiedades asintticas ptimas entre todos los estimadores
consistentes y normales asintticamente.
DESVENTAJA: Podemos tener problemas graves si nos equivocamos
en el supuesto de la distribucin. En otras palabras, el estimador
MV depende de forma importante de los supuestos sobre la
distribucin.
Otra desventaja: El estimador MV tiene propiedades mediocres en
muestras pequeas.

EJERCICIO:

Una variable aleatoria X puede tomar valores enteros 0,1,2,3, La

probabilidad de que X sea igual a un valor especfico x, p(x) se escribe:

e x
p( x )
x!
Donde es un parmetro desconocido y x! = x ( x-1) (x-2)..
En una muestra de 3 observaciones, los valores de la variable aleatoria
son 2, 5 y 2:
a) Escribe la funcin de verosimilitud de la muestra
b) Deriva el estimador MV de

2. PROPIEDADES ASINTTICAS

La idea es analizar el comportamiento aproximado del estimador

cuando n

En particular, nos interesa saber si los estimadores son

consistentes y cul es su distribucin asinttica.
Estas propiedades sustituyen de alguna forma a otras que se obtienen en
muestras pequeas pero que no se cumplen en muchos estimadores de MV. En
particular, en muchos casos, no podemos demostrar insesgadez
ni podemos calcular la distribucin exacta del estimador (ejemplo:
)

2. PROPIEDADES ASINTTICAS
1. CONSISTENCIA

2. PROPIEDADES ASINTTICAS
1. CONSISTENCIA
1 PROCEDIMIENTO PARA DEMOSTRAR CONSISTENCIA

Se trata de demostrar la
Convergencia en Media
Cuadrtica.

2. PROPIEDADES ASINTTICAS
1. CONSISTENCIA
2 PROCEDIMIENTO PARA DEMOSTRAR CONSISTENCIA

2. PROPIEDADES ASINTTICAS
1. CONSISTENCIA

Los estimadores pueden ser inconsistentes por dos razones:

(1) Convergen a una constante que no coincide con el parmetro
que pretendemos estimar. Es decir, son estimadores
consistentes de otro parmetro, pero no del que nos interesa.
(1) No convergen a una constante. En ese caso no son
estimadores consistentes de nada.

EJERCICIO:
Consistencia del estimador OLS /MV en el modelo de regresin lineal

1 PROCEDIMIENTO

2 PROCEDIMIENTO

2. PROPIEDADES ASINTTICAS
2. DISTRIBUCIN ASINTTICA
Cuando desconocemos la distribucin exacta de un estimador, podemos
preguntarnos si en grandes muestras el estimador sigue alguna
distribucin conocida. Esto nos permitir realizar inferencia estadstica
(contrastes de hiptesis) cuyos resultados sern vlidos en muestras
grandes.

La intuicin de la convergencia en distribucin es que la distribucin

de Zn se va pareciendo cada vez ms a la distribucin de Z conforme
aumenta el tamao muestral

2. PROPIEDADES ASINTTICAS
2. DISTRIBUCIN ASINTTICA

Ejemplo:
El estadstico t tiene una distribucin t de Student con n-k grados de
libertad. Pero conforme n se comporta como una distribucin Normal
estndar. Esta es, por tanto, su distribucin asinttica
Estadstico t ~ t-Student
a

Estadstico t ~ N(0,1)

o bien

Estadstico t N(0,1)

2. PROPIEDADES ASINTTICAS
2. DISTRIBUCIN ASINTTICA

0.4
Normal (0,1)
t, 10 g.l.

0.3

t, 5 g.l.

0.2
0.1
0
-6

-5

-4

-3

-2

-1

2. PROPIEDADES ASINTTICAS
2. DISTRIBUCIN ASINTTICA
Una herramienta til para derivar distribuciones asintticas es el
Teorema Central del Lmite

Igual que ocurre con la Ley de los Grandes Nmeros, existen diferentes
Teoremas Centrales del Lmite cuando las Xi no son i.i.d. (se suelen
exigir condiciones de diferentes para que se cumpla).

2. PROPIEDADES ASINTTICAS
2. DISTRIBUCIN ASINTTICA
Por qu es til el Teorema Central del Lmite?
Porque nos ayuda a demostrar la validez de los contrastes de hiptesis
en muestras grandes (basados en los estadsticos de contraste que
conocemos) incluso si desconocemos cul es la verdadera distribucin
de los trminos de perturbacin del modelo.
En el caso del estimador MCO (OLS):
Un Teorema Central del Lmite nos dice que aunque las perturbaciones
aleatorias o trminos de error del modelo de regresin no sigan una
distribucin Normal, si tienen media 0 y varianza finita e igual a 2

3. PROPIEDADES DEL ESTIMADOR MXIMO VEROSMIL

(MAXIMUM LIKELIHOOD ESTIMATOR)

Las principales propiedades el estimador MV son propiedades

asintticas (o en muestras grandes). Se cumplen bajo condiciones
bastante generales (condiciones de regularidad).

Consistencia
Distribucin asinttica Normal
Eficiencia asinttica
Invarianza

3. PROPIEDADES DEL ESTIMADOR MXIMO VEROSMIL

(MAXIMUM LIKELIHOOD ESTIMATOR)

3. PROPIEDADES DEL ESTIMADOR MXIMO VEROSMIL

(MAXIMUM LIKELIHOOD ESTIMATOR)

4. CONCEPTOS HABITUALES EN ESTIMACIN ML

4. CONCEPTOS HABITUALES EN ESTIMACIN ML

ESTIMACIN DE LA MATRIZ DE VARIANZAS Y COVARIANZAS [-E[H]]-1
Tres mtodos:

(1)

Si la expresin de [-E[H]]-1 es conocida, podemos evaluar la matriz en el

valor de los parmetros estimados (que sustituirn as a los verdaderos
parmetros que aparecen en la expresin).

(2)

Si las esperanzas de los elementos de la matriz Hessiana no son

conocidos (muchas veces esos elementos son funciones no lineales para
las que no es posible calcular su esperanza), entonces podemos evaluar
I=[H]-1 en los valores de los parmetros estimados.

(3)

Como E[H] es la varianza de las primeras derivadas, podemos estimarla

mediante la varianza muestral de las primeras derivadas, es decir:

EJERCICIO:
Matriz de informacin del estimador MV en el modelo de regresin lineal
La matriz de informacin es:

Los gradientes o scores ya los tenemos calculados

En realidad es
un vector
gradiente (k x 1)

EJERCICIO:
Matriz de informacin del estimador MV en el modelo de regresin lineal
La matriz de informacin es:

EJERCICIO:
Matriz de informacin del estimador MV en el modelo de regresin lineal
La matriz de informacin es:

EJERCICIO:
Matriz de informacin del estimador MV en el modelo de regresin lineal
Por tanto:

EJERCICIO:

Supongamos una muestra aleatoria simple X1, X2, , Xn con funcin de

distribucin de probabilidad definida por:

1) Calcula E(Xi) y Var(Xi)

2) Encuentra el estimador MV de
3) Es MV consistente?
4) Encuentra su distribucin asinttica

5. EL MTODO DELTA

5. EL MTODO DELTA

5. EL MTODO DELTA
Supongamos que tenemos la estimacin MV de un parmetro . Pero estamos
interesados en estimar una funcin de ese parmetro =g() y, adems,
queremos hacer inferencia (contrastes) sobre el mismo.
Por la propiedad de Invarianza de los estimadores MV, podemos estimar

g(.) es no lineal

Pero, cmo estimamos la varianza? El mtodo delta nos da una

solucin.
Si es un escalar, entonces la expresin de la varianza es:

EJERCICIO:

Supongamos que hemos estimado por MV el parmetro y tambin su

varianza, donde

Pero estamos interesados en el parmetro .

a) Cmo puedo estimar ?
b) Obtener la expresin de

5. EL MTODO DELTA
Supongamos que es un vector k x 1. Por ejemplo, si k=3

Estamos interesados en estimar una funcin de los parmetros que forman el

vector,

De nuevo, por la propiedad de invarianza,

Y la estimacin de la varianza por el mtodo delta es:

(1 x k) (k x k) (k x 1)

5. EL MTODO DELTA

Donde:
Vector gradiente (de derivadas
parciales) y dimensin 3x1

5. EL MTODO DELTA