30/11/13

Estimadores de mnimos cuadrados

Seccin : Bsqueda de estimadores Previo : Estimacin por ajuste Siguiente : Nocin de verosimilitud

Estimadores de mnimos cuadrados

Hasta ahora el nico modelo probabilista que hemos considerado para datos observados, supona que estos eran realizaciones de variables independientes de una misma ley. Esto equivale a decir que los individuos en los cuales se tomaron los datos son intercambiables y que las diferencias observadas entre ellos son imputables solamente al azar. En numerosas situaciones, se busca explicar estas diferencias, es decir, atribuirlas a los efectos de otros carcteres medidos en los mismos individuos. La modelacin probabilista considerar que la medicin a explicar, realizada en un individuo dado, es una variable aleatoria cuya ley depende de los valores observados, en ese individuo, de los carcteres explicativos, considerados como deterministas. Si denota la variable aleatoria asociada al individuo y son los

valores que toman, para ese individuo, los carcteres explicativos , se separar el efecto determinista y el efecto aleatorio por un modelo del tipo:

donde

es

una

-tupla

de

variables

aleatorias

independientes con una misma ley. Hablamos entonces de un modelo de regresin. La funcin depende de uno o varios parmetros desconocidos, que hay que estimar. Para esto se busca minimizar el
ljk.imag.fr/membres/Bernard.Ycart/emel/cours/ep/node10.html 1/5

30/11/13

Estimadores de mnimos cuadrados

error cuadrtico definido por:

En algunos casos clsicos, sabemos resolver explcitamente este problema de minimizacin y la solucin de estos est implementada en los logiciales de clculo estadstico. Cuando una solucin explcita es imposible, recurrimos a algoritmos de minimizacin, como por ejemplo el algoritmo del gradiente. El caso ms elemental es el de la regresin lineal simple, donde hay un nico carcter explicativo y la funcin es afn:

El error cuadrtico est dado por:

Los valores de y que minimizan el error cuadrtico se expresan en funcin de las medias, varianzas y covarianzas empricas de y de . Denotamos: la media emprica de . .

la varianza emprica de la media emprica de

ljk.imag.fr/membres/Bernard.Ycart/emel/cours/ep/node10.html

.
2/5

30/11/13

Estimadores de mnimos cuadrados

la varianza emprica de la covarianza de el coeficiente de correlacin de Proposicin 2.4 Si (el carcter

. y y . .

no es constante), la funcin

admite un mnimo para: y El valor de este mnimo es:

Las variables aleatorias y son los estimadores de mnimos cuadrados de los parmetros y . En un problema de ajuste, podemos emplear los estimadores de mnimos cuadrados para estimar los parmetros de algunas leyes. Vamos a tratar, como ejemplo, las leyes normales y las leyes de Weibull. Leyes normales: Sea ley normal Para valores una muestra de tamao y de la

, donde los parmetros , denotemos por

son desconocidos.

el estadgrafo de orden (son los

ordenados del menor al mayor). Si la hiptesis de normalidad debe estar cerca del cuantil de la sigue la ley
3/5

es vlida, entonces ley

. Recordemos que si una variable aleatoria

ljk.imag.fr/membres/Bernard.Ycart/emel/cours/ep/node10.html

30/11/13

Estimadores de mnimos cuadrados

, entonces para todo :

sigue la ley

. Esto implica que

Denotemos en los puntos puntos de coordenadas ecuacin

los valores de la funcin cuantil de la ley . Si la hiptesis de normalidad se verifica, los deberan estar cerca de la recta de y son por

. Los estimadores de mnimos cuadrados con respecto a los

para la regresin lineal simple de los tanto estimadores de y

respectivamente.

Leyes de Weibull: La funcin cuantil de la ley de Weibull dada por:

est

Sea

una muestra de la ley

, de parmetros

desconocidos. Para estar cerca del cuantil :

, el estadgrafo de orden

debe

Empleando logaritmos:
ljk.imag.fr/membres/Bernard.Ycart/emel/cours/ep/node10.html 4/5

30/11/13

Estimadores de mnimos cuadrados

Denotemos

. Los puntos

deberan estar cerca de la recta de ecuacin . Los estimadores de mnimos cuadrados y para la regresin lineal de los con respecto a los son estimadores de y respectivamente. Por tanto de y respectivamente. y son estimadores

Seccin : Bsqueda de estimadores Previo : Estimacin por ajuste Siguiente : Nocin de verosimilitud

ljk.imag.fr/membres/Bernard.Ycart/emel/cours/ep/node10.html

5/5