Professional Documents
Culture Documents
M
etodos de Obtenci
on de
Estimadores
11.1.
Introduci
on
11.2.
M
etodo de los momentos
Seg
un el n
umero de parametros que deseemos estimar, hemos de plantear y
resolver un sistema de ecuaciones de tal n
umero de parametros. Primero obtendremos los momentos poblacionales en funcion de los correspondientes parametros
a estimar y los igualaremos a los momentos muestrales correspondientes. De este
sistema, resolvemos para los parametros desconocidos, y tenemos ah sus estimaciones.
Sea una poblacion cuya f.(d.)p. es f (xi |1 , . . . , k ), con k parametros desconocidos que deseamos estimar y una muestra aleatoria de tama
no n, (X1 , . . . , Xn ).
252
11. M
etodos de Obtenci
on de Estimadores
253
Z
xi f (xi |1 , . . . , k )
caso discreto,
X
j
j (1 . . . , k ) =
x f (x|) =
Zi=1
para j = 1, k.
Generalmente j , sera una funcion de los k-parametros 1 , . . . , k :
j (1 . . . , k ),
j = 1, k .
n
X
Xi
i=1
...,
aj =
n
X
Xj
i
i=1
...,
ak =
n
X
Xk
i
i=1
Luego, igualamos estos momentos muestrales con sus correspondientes poblacionales; y tenemos el sistema
1 (1 , . . . , k ) = a1
..
.
j (1 , . . . , k ) = aj
..
.
k (1 , . . . , k ) = ak
de k ecuaciones con k incognitas, los parametros a estimar. Resolviendo el sistema
tenemos las soluciones 1 , . . . , k .
11. M
etodos de Obtenci
on de Estimadores
254
La gran ventaja de este metodo es la simplicidad de los calculos en que se incurre, por lo que se utiliza este como primera aproximacion a los parametros. Este
metodo no suele proporcionar buenos estimadores pues no utiliza la distribucion
de la poblacion.
11.3.
M
etodo de la m
axima verosimilitud
Sea una m.a.s. (X1 , . . . , Xn ) de una poblacion cuya f.(d.)p. es f (xi |), donde
es un parametro desconocido que pertenece a un espacio parametrico , .
Sabemos que la funcion de verosimilitud L() es dependiente del parametro ,
y toma valores distintos seg
un la muestra suministrada concreta.
Definici
on 11.1 El m
etodo de la m
axima verosimilitud consiste en elegir
1 , . . . , Xn ) que hace
como estimador del par
ametro desconocido aquel valor (X
m
axima la funci
on de verosimilitud L(). Es decir, consiste en encontrar aquel
(11.1)
1 , . . . , Xn ) se le llama estimador m
A este estimador (X
aximo verosimil
o estimador de m
axima verosimilitud (EMV) del par
ametro .
Es decir, este metodo busca el estimador que maximiza la probabilidad de que
la muestra seleccionada sea obtenida.
As, si tenemos dos posibles valores del parametro 1 y 2 con
L(x|1 ) > L(x|2 ) ,
entoces la probabilidad de que 1 sea realmente el parametro es mayor a que lo
sea 2 , para una muestra concreta considerada x = (x1 , . . . , xn ).
Generalmente L() suele ser una expresion complicada, por eso es que se considera ln L() pues L() > 0 y coinciden los maximos de L con los de ln L. Ademas
ln L(x|) = ln f (x|) =
n
X
ln f (xi |)
(11.2)
i=1
debe verificar
y el EMV, ,
= max ln L(x1 , . . . , xn |) = max
ln L(x1 , . . . , xn |)
n
X
i=1
ln f (xi |) ,
(11.3)
11. M
etodos de Obtenci
on de Estimadores
255
ln L(x1 , . . . , xn |) X ln f (xi |)
=
=0,
(11.4)
i=1
ln L(x1 , . . . , xn |1 , . . . , k ) X ln f (xi |1 , . . . , k )
=
=0
1
1
i=1
..
.
n
ln L(x1 , . . . , xn |1 , . . . , k ) X ln f (xi |1 , . . . , k )
=
=0
k
k
(11.5)
i=1
y tenemos:
1 = 1 (X1 , . . . , Xn )
..
.
k = k (X1 , . . . , Xn ) ,
los EMV de (1 , . . . , k ).
En este metodo no aceptamos soluciones triviales para los EMV. Tenemos un
EMV en sentido estricto cuando la solucion es u
nica; en caso contrario tenemos
EMV en sentido amplio.
(11.6)
1
Admitimos lo siguiente condiciones de regularidad: el campo de variaci
on de es un intervalo
abierto de R, que el campo de variaci
on de la v.a. poblacional no depende
de , que f (x|) > 0
2 ln L
y derivable respecto a y que se verifica la condici
on de m
aximo
< 0.
2 =
11. M
etodos de Obtenci
on de Estimadores
256
Propiedad 11.5 En general los EMV no son insesgados. Pero si no son insesgados entonces son asint
oticamente insesgados.
Propiedad 11.6 Si existe un estimador eficiente del par
ametro , entonces
tambien es de m
axima verosimilitud y es u
nico. Pero todo estimador de m
axima
verosimilitud no es eficiente.
Propiedad 11.7 Los EMV son asint
oticamente eficientes.
Propiedad 11.8 Los EMV son asntoticamente normales.
,
N(, Var())
coincide con la cota de Cr
donde Var()
amer-Rao.
Propiedad 11.9 Si es un estimador suficiente del par
ametro , entonces el
EMV de , si es u
nico, es funci
on del estimador suficiente .
Propiedad 11.10 (Principio de Invarianza de Zehna) Los EMV son invariantes frente a transformaciones biunvocas. Es decir, si es el EMV del par
ametro
11. M
etodos de Obtenci
on de Estimadores
11.4.
257
Ejemplos
Estos son varios ejemplos que he tomado de libros que aparecen en la bibliografa.
Ejemplo 11.1 Demostrar las propiedades de los estimadores obtenidos por el
metodo de los momentos.
Insesgadez. Puesto que los parametros a estimar son momentos poblacionales
respecto al origen, j , tendremos para una muestra aleatoria (X1 , . . . , Xn ) que:
n
j = aj =
1X j
Xi ,
n
j = 1, . . . , k
i=1
n
1X
=
E(Xij )
n
i=1
n
1X
=
E(X j )
n
i=1
1
= nE(X j )
n
= j
Luego vemos que son estimadores insesgados.
Normalidad asint
otica. Como los parametros a estimar son los momentos
poblacionales, j , que para una muestra aleatoria simple (X1 , . . . , Xn ) son:
j = aj =
n
X
Xj
i
i=1
X1j
Xnj
n
n
resultando que el estimador
j = aj se puede expresar como suma de n variables
=
aleatorias
E
Xij
n ,
+ +
11. M
etodos de Obtenci
on de Estimadores
Var
Xij
n
!
=
258
1
Var(Xij )
n2
1
E[(Xij E(Xij ))2 ]
n2
1
= 2 E[(Xij j )2 ]
n
1
= 2 (2j j2 )
n
=
Var(
j ) = Var(aj ) = Var
n
X
Xj
i
i=1
n
X
Xij
Var
i=1
2j j2
n
j = aj N j ,
n
o bien que la variable aleatoria
n(aj j )
aj E(aj )
aj j
q
p
=
N(0, 1)
=q
2
2j
Var(aj )
j
2j j2
cuando n
J
Ejemplo 11.2 Sea (X1 , . . . , Xn ) una muestra aleatoria obtenida de una poblacion
que sigue una distribucion de Poisson de parametro , desconocido. Obtener un
estimador del parametro utilizando el metodo de los momentos.
Soluci
on. Aplicando el metodo de los momentos igualaremos el momento de
orden uno, respecto al origen, de la poblacion 1 , al momento de orden uno de la
11. M
etodos de Obtenci
on de Estimadores
259
muestra a1 .
1 () = E(X) =
=
X
i=1
xi Pr(X = xi )
xi
i=0
=e
=e
xi
e
xi !
X
xi1
(xi1 )!
i=0
=
a1 =
n
X
Xi
i=1
=X
Luego igualando
1 () = a1
resulta que el estimador por el metodo de los momentos de es:
Pn
Xi
= X = i=1
n
Este estimador coincide con el que se obtiene por el metodo de maxima verosimilitud.
J
Ejemplo 11.3 Sea (X1 , . . . , Xn ) una muestra aleatoria procedente de una B(p).Obtener
el estimador del parametro p, utilizando el metodo de los momentos.
Soluci
on. Sabemos de la distribucion B(p) que la media o momento de orden
uno respecto al origen es:
1 (p) = p
y el momento de orden uno de la muestra es:
a1 =
n
X
Xi
i=1
11. M
etodos de Obtenci
on de Estimadores
y si hacemos X =
p =
Pn
i=1 Xi
260
n
umero de exitos en las n pruebas:
X
n
1
= 1
a
con a1 = X.
Por tanto,
1
=X
a
con lo que
1
a
=
X
J
Ejemplo 11.5 Obtener el estimador del parametro de una ley cuya funcion de
densidad es:
f (x|) =
2
( x)
2
si 0 < x <
utilizando e metodo de los momentos para una muestra aleatoria simple de tama
no
2.
11. M
etodos de Obtenci
on de Estimadores
261
Soluci
on. El valor esperado de la variable aleatoria X, se calcula como
2
Z
2
x
x3
2
1 = E(X) =
x 2 ( x) dx = 2
2
3 0
0
3
3
2
= 2
2
3
3
= 3X
y si la muestra es de tama
no 2:
X1 + X2
= 3
2
J
Ejemplo 11.6 Sea (X1 , . . . , Xn ) una m.a.s. procedente de una poblacion B(p),
en donde p es desconocido. Obtener el estimador de maxima verosimilitud del
parametro p.
Soluci
on. Sabemos que la funcion de probabilidad es:
Pr(xi |p) = pxi (1 p)1xi ,
xi = 0, 1,
i = 1, . . . , n
Pn
i=1
xi
n
Y
Pr(xi |p)
i=1
P
n n
i=1 xi
(1 p)
n
X
!
xi
ln p +
i=1
ln L(x1 , . . . , xn |p)
=
p
n
X
!
xi
ln(1 p)
i=1
Pn
i=1 xi
P
Pn
n ni=1 xi
xi np
= i=1
=0
1p
p(1 p)
11. M
etodos de Obtenci
on de Estimadores
n
X
Pn
xi np = 0
p =
i=1
Calculando la
i=1 xi
262
X
=x
2 ln L
tenemos:
p2
P
P
ni=1 xi n ni=1 xi
2 ln L(x1 , . . . , xn |p)
=
p2
p2
(1 p)2
P
Pn
n
2
2
(1 p)
i=1 xi (n
i=1 xi ) p
=
p2 (1 p)2
y particularmente para p = x
, se tiene:
2 ln L(x1 , . . . , xn |p)
n
n
=
+
<0
p2
x
1x
X
n
J
Ejemplo 11.7 Dada una poblacion cuya funcion de densidad es:
f (x|) = (1 + )x Ih0,1i (x)
y una muestra aleatoria (X1 , . . . , Xn ).
Comprobar que el estimador del parametro obtenido por el metodo de los
momentos no coincide con el estimador maximo-verosimil.
Soluci
on. Para obtener el estimador por el metodo de los momentos obtenemos el momento de orden uno respecto al origen de la poblacion y lo igualamos
al momento de orden uno de la muestra
Z 1
1 = E(X) =
x (1 + )x dx
0
Z 1
=
(1 + )x1+ dx
0
1+
=
2P+
a1 =
n
i=1 Xi
=X
11. M
etodos de Obtenci
on de Estimadores
263
=X
2+
1 2X
=
X 1
n
Y
f (xi |)
i=1
= (1 + )x1 (1 + )xn
!
n
Y
n
= (1 + )
xi
i=1
ln L(x1 , . . . , xn |) = n ln(1 + ) +
n
X
ln xi
i=1
n
X
ln L(x1 , . . . , xn |)
n
=
+
ln xi = 0
1+
i=1
n
Pn
i=1 ln xi
f (x|) = 1 e IR+
y consideremos una muestra aleatoria (X1 , . . . , Xn ). Se pide
1. Estimador maximo-verosimil del parametro .
2. Comprobar si es insesgado y consistente.
3. Comprobar si el estimador maximo-verosimil es eficiente.
Soluci
on.
11. M
etodos de Obtenci
on de Estimadores
264
n
Y
f (xi |)
i=1
x1
1
e
= 1 e P
= n e
xn
n
i=1 xi
1X
ln L(x1 , . . . , xn |) = n ln
xi
1=1
i=1
Pn
=
i=1 xi
=x
= i=1
=X
n
2. Veamos que es insesgado y consistente:
Como se trata de una distribucion exponencial de parametro
que:
E(X) =
Var(X) = 2
Luego
= E(X)
= E(X) =
E()
2
= Var(X)
= Var(X) =
Var()
n
n
1
,
sabemos
11. M
etodos de Obtenci
on de Estimadores
265
=
Var()
nE
ln f (x|)
i2
o bien
1
=
Var()
nE
2 ln f (x|)
2
ln f (x|) = ln
x
,
x>0
ln f (x|)
1
x
= + 2,
x>0
2 ln f (x|)
1
2x
= 2 3,
2
x>0
2 ln f (x|)
E
2
=
=
=
=
1
2X
E 2 3
2
1
E(X)
2 3
1
2
2 3
1
2
1
2 = 2
2
2 ln f (x|)
2
i=
1
n
1 =
2
2
n
11. M
etodos de Obtenci
on de Estimadores
266
J
Ejemplo 11.9 Sea una poblacion cuya distribucion de probabilidad viene dada
por:
Pr(X = 1) = p3
Pr(X = 2) = 3p2 q
Pr(X = 3) = 3pq 2
Pr(X = 4) = q 3
con 0 p 1 y p + q = 1. Obtener la estimacion maximo verosimil del parametro
p utilizando la realizacion de una muestra aleatoria simple de tama
no 18, en la
cual el valor 1 se presenta tres veces, el valor 2 se presenta cuatro veces, el valor
3 se presenta cinco veces y el valor 4 aparece seis veces.
Soluci
on. La funcion de verosimilitud
L(x1 , . . . , x18 |p) =
18
Y
Pr(xi |p)
i=1
3 3
=0
p
p
1p
22(1 p) 32p = 0
Por tanto la estimacion maximo verosimil del parametro p se obtiene despejando
de la ecuacion anterior y es:
p =
J
11
22
=
' 0,407
54
27
11. M
etodos de Obtenci
on de Estimadores
267
si x >
= kex
i+
=k
k=1
donde a1 = X
Z
xex dx
1 () = E(X) =
haciendo
u = x ; du = dx
dv = ex dx ; v = ex
e integrando por partes, se tiene que
h
i+
1 () = E(X) = xe
+
i+
h
= + ex
=+1
ex dx
Por tanto al igualar el momento poblacional de orden uno respecto al origen con
el muestral:
+1=X
con lo cual el estimador de por el metodo de los momentos es:
1
= X
J
11. M
etodos de Obtenci
on de Estimadores
268
n
Y
f (xi |) =
i=1
1 1 Pni=1 xi Y
e
xi
2n
i=1
i=1
i=1
X
1X
xi +
ln xi
i=1
entonces
2n +
n
X
xi = 0
i=1
1 X
X
=
xi =
2n
2
i=1
J
Ejemplo 11.12 Dada una muestra aleatoria simple, X1 , . . . , Xn de una poblacion
X cuya funcion de densidad es
x+
e
si x
f (x) =
0
en el resto
con R; obtener un estimador de por el metodo de maxima verosimilitud.
Soluci
on. Veamos que ocurre si se aplica
ln L(x1 , . . . , xn |)
=0
11. M
etodos de Obtenci
on de Estimadores
269
se obtendra que:
L(x1 , . . . , xn |) =
n
Y
i=1
P
n n
i=1 xi
si xi i = 1, . . . , n
=e
y cero en caso contrario.
ln L(x1 , . . . , xn |) = n
n
X
xi
si xi
i=1
ln L(x1 , . . . , xn |)
=n
y no existe ning
un valor de para el cual el resultado anterior sea igual a cero. Este
hecho se produce porque el campo de variacion de X depende del parametro .
Por tanto no se puede aplicar el proceso anterior y habra que encontrar el maximo
de la funcion de verosimilitud de otra forma:
Se ha encontrado que
n Pn x
i=1 i
e e
si xi i = 1, . . . , n
L(x1 , . . . , xn |) =
0
en caso contrario
Por tanto maximizar L(x1 , . . . , xn |) es lo mismo que maximizar ; pero como
tiene que ocurrir
mn{xi }
i
entonces
en mni {xi } en
11. M
etodos de Obtenci
on de Estimadores
270
por tanto
max L(x1 , . . . , xn |) max en en mni {xi }
con lo cual
= mn{xi }
i
J
Ejemplo 11.13 Dado x exitos en n intentos, encuentre el estimador de maxima
verosimilitud del parametro de la distribucion binomial correspondiente.
Soluci
on. Para encontrar el valor de que maximiza
n x
L(x|) =
(1 )nx
x
ser
a conveniente hacer uso del hecho que el valor de que maximiza L() tambien
maximiza:
n
ln L() = ln
+ x ln + (n x) ln(1 )
x
As obtendremos
d[ln L()]
x nx
=
d
1
y, al igualar esta derivada a 0 y resolver para , encontramos que la funcion
de verosimilitud tiene un maximo en = nx . Este es el estimador de maxima
verosimilitud del parametro binomial , y nos referimos a = X
n como el estimador
correspondiente de maxima verosimilitud.
J
Ejemplo 11.14 Si x1 , x2 , . . . , xn son los valores de una muestra aleatoria de
tama
no n de una poblacion uniforme con = 0, encuentre el estimador de maxima
verosimilitud de .
Soluci
on. La funcion de verosimilitud esta dada por
n
n
Y
1
L(x|) =
f (xi |) =
i=1
para mayor que, o igual a, la mas grande de las xs y 0 de otra manera. Puesto
que el valor de esta funcion de verosimilitud aumenta conforme disminuye,
debemos hacer tan peque
na como sea posible, y se sigue que el estimador de
maxima verosimilitud de es Yn , la estadstica de n-esimo orden. Como este valor
es = max{x1 , . . . , xn }, el EMV de es = max{X1 , . . . , Xn }.
J
11. M
etodos de Obtenci
on de Estimadores
271
Hay que resaltar que en el ejemplo anterior, el EMV no parece ser un estimador apropiado de . Puesto que max{X1 , . . . , Xn } < con probabilidad 1,
resulta obvio que tiende a subestimar el valor de . De hecho, si se asigna a
cualquier distribucion inicial, entonces el estimador Bayes para resultara mayor
La magnitud en que el estimador Bayes supera a ,
dependera naturalmente
que .
de la distribucion inicial que se utiliza y de los valores observados de X1 , . . . , Xn .
Ejemplo 11.15 No existencia de un EMV. Supongase de nuevo que X1 , . . . , Xn
constituyen una muestra aleatoria de una distribucion uniforme sobre el intervalo h0, i. Sin embargo, supongase ahora que en lugar de escribir la f.d.p. f (x|)
de la distribucion uniforme considerando desigualdades debiles en su campo de
variacion, se escribe de la siguiente forma:
0 en otro caso.
La u
nica diferencia entre la f.d.p de la uniforme [0, ] y esta u
ltima es que el valor de la f.d.p. en cada uno de los dos puntos 0 y se ha cambiado reemplazando las
desigualdades debiles por desigualdades estrictas. Utilizando esta u
ltima ecuacion,
vemos que un EMV de sera un valor de tal que > xi para i = 1, . . . , n y que
maximiza 1/ n . Hay que tener en cuenta que los valores posibles de no incluyen
el valor = max{x1 , . . . , xn }, puesto que debe ser estrictamente mayor que cada valor observado xi (i = 1, . . . , n). Puesto que se puede elegir arbitrariamente
cerca del valor max{x1 , . . . , xn } pero no se puede elegir a este valor, resulta que
no existe el EMV de .
J
Los dos ejemplos anteriores ilustran un inconveniente del concepto de un EMV.
En todas las exposiciones previas sobre las f.d.p., se subraya el hecho de que
es irrelevante si se elige la f.d.p. de la distribucion uniforme como 1/ sobre el
intervalo abierto 0 < x < o sobre el intervalo cerrado 0 x . Ahora,
sin embargo, se observa que la existencia de un EMV depende de esta eleccion
irrelevante y sin importancia. Esta dificultad se elimina facilmente en este u
ltimo
ejemplo utilizando la f.d.p. con desigualdades debiles que con estrictas en el campo
de variacion de x. En muchos otros problemas tambien se puede eliminar una
dificultad de este tipo relacionada con la existencia de un EMV, eligiendo una
version apropiada de la f.d.p. para representar la distribucion dada. Sin embargo
la dificultad no siempre se puede eliminar.
Ejemplo 11.16 Si X1 , X2 , . . . , Xn constituyen una muestra aleatoria de una poblacion
uniforme con = 0, demuestre que el valor mas grande de la muestra (esto es
11. M
etodos de Obtenci
on de Estimadores
272
ln L(x|) = n + ln
n
X
xi
i=1
ln L(x|)
= n +
Pn
xi
= i=1 = x
n
X
ln xi !
i=1
Pn
i=1 xi
= 0;
x
=
J
Ejemplo 11.18 Muestreo de una distribuci
on normal. En la distribucion
N(, 2 ) con varianza conocida, el parametro desconocido se estima mediante el
metodo de la maxima verosimilitud, en muestras aleatorias simples de tama
no n.
La funcion de verosimilitud es
L(x|) = f (x1 |) f (xn |)
"
"
#
#
1
1 x1 2
1
1 xn 2
=
exp
exp
2
(2)1/2
(2)1/2
"
#
n
1 X
1
exp
=
(xi )2 .
2 2
(2 2 )n/2
i=1
n
X
i=1
(xi )2 =
n
X
i=1
x2i 2
n
X
i=1
xi + n2 .
11. M
etodos de Obtenci
on de Estimadores
273
(11.7)
i=1
Se deben obtener los valores de y 2 para los cuales L(x|, 2 ) sea maxima,
determinando los valores de y 2 que satisfacen las dos ecuaciones siguientes:
L(x|, 2 )
L(x|, 2 )
2
= 0,
(11.8)
= 0.
(11.9)
i=1
n
X
!
xi n .
i=1
11. M
etodos de Obtenci
on de Estimadores
274
2 =
1X
(xi x
n )2 .
n
i=1
As como x
n se denomina media muestral, el estadstico de la parte derecha
de la ecuacion anterior se denomina varianza muestral. Es la varianza de una
distribucion que asigna probabilidad 1/n a cada uno de los n valores observados
x1 , . . . , xn de la muestra.
Se puede comprobar que los valores de y 2 que satisfacen las ecuaciones
(11.8) y (11.9), efectivamente proporcionan el valor maximo de L(x|, 2 ). Por
tanto, los EMV de y 2 son
n
=X
X
c2 = 1
n )2 .
(Xi X
n
i=1
11. M
etodos de Obtenci
on de Estimadores
275