Modelos de Variable

Dependiente Binaria
-Logit y Probit-
Maestra en Evaluacin de Proyectos
ITBA-UCEMA
Daniel Lema
Modelos Logit y Probit
Modelos de regresin donde la variable
dependiente es binaria o dummy
Por ejemplo:
Un modelo que trata de explicar los
factores determinantes de que una familia
sea propietaria de una casa.
En particular, cuantificar la relacin entre
ingreso y propiedad
Se selecciona una muestra de hogares y
se registra el ingreso y si la familia es
propietaria o no de una casa. El modelo
puede expresarse
Y
i
=o + | X
i
+ c
i

Donde Y
i
= 1 si el hogar es propietario de su
casa y cero en caso contrario.
X
i
es el ingreso del hogar i

Se puede aplicar MCO a este problema
Pero existen 3 inconvenientes

1. Las predicciones del modelo no
necesariamente estarn entre cero y uno

2. Considere el trmino de error. Para un
valor dado de X
i
el trmino de error slo
puede tomar uno de los siguientes dos
valores
c
i
= 1 o |X
i
cuando Y
i
= 1
c
i
= o |X
i
cuando Y
i
= 0
En consecuencia los errores no se distribuyen
como una normal (de hecho lo hacen como
una binomial)
3. Se puede demostrar que los errores son
heteroscedsticos

Estos problemas no impiden
absolutamente la aplicacin de MCO
Se puede ajustar por heteroscedasticidad
Los errores no normales son menos
problemticos en muestras grandes
Predicciones negativas o mayores a uno
no son un problema serio (pueden
ignorarse, por ej.)
Sin embargo, algunos supuestos del
modelo son restrictivos
Por ejemplo la constancia del efecto
marginal de un cambio en el ingreso sobre
la probabilidad de ser propietario (|)
Esperaramos un efecto bajo para ingresos
muy bajos y muy altos.
Y un efecto mayor para ingresos promedio.
Esto implicara una relacin de este tipo
entre probabilidad de ser propietario e
ingreso

0
0.2
0.4
0.6
0.8
1
X
p
La relacin es no lineal
La variable dependiente est restringida
entre cero y uno
Dos modelos producen una relacin de
este tipo
Un modelo basado en la funcin logstica
Un modelo derivado de una funcin de
distribucin normal acumulada
Modelo Logit
Expresando el modelo explcitamente en
trminos de probabilidades tenemos
P
i
= o + | X
i

Donde P
i
es la probabilidad de que el
hogar i sea propietario de una casa
Una relacin que genera un grfico como
el anterior es:


) (
1
1
i
X
i
e
P
| o+
+
=
Definimos la razn de probabilidades
(odds ratio) como:


i
i
P
P
1
En el caso de la propiedad de casas representa
la razn de la probabilidad de que una familia
posea una casa respecto de la probabilidad de
que no la posea.
Por ejemplo, si P
i
= 0.8 significa que las
probabiliades son 4 a 1 a favor de que la familia
posea una casa (0.8/0.2)

Si tomamos el logaritmo natural de la razn
de probabilidades obtenemos




i i
i
i
i
X Z
P
P
L | o + = =
|
|
.
|

\
|

=
1
ln
Entonces, el L
i
resulta lineal en X y tambin
en los parmetros
L es llamado modelo Logit




La interpretacin del modelo es la
siguiente:
| es la pendiente y mide el cambio en L
ocasionado por un cambio unitario en X,
es decir, dice cmo el logaritmo de las
porbabilidades a favor de tener una casa
cambian a mediada que el ingreso cambia
en una unidad.
o es el valor de L si el ingreso es cero
Dado un nivel de ingreso X* si se desea
estimar la probabilidad de tener una casa
(y no las probabilidades a favor de tener
una casa) se puede calcular a partir de la
definicin de P
i
una vez estimados los
parmetros.
El mtodo de estimacin es por Mxima
Verosimilitud (MV)
El Modelo Probit
La aproximacin al problema es similar al
Logit pero se supone una relacin no
lineal distinta (aunque muy similar) entre
X
i
y P
i

Se basa en la distribucin normal
acumulada
Se supone que la decisin de poseer o no
una casa depenede de un ndice I
(conocido como variable latente)


El ndice I est determinado por una o varias
variables explicativas. Por ej ingreso
Cuanto mayor sea el ndice mayor la
probabilidad de tener una casa
I
i
= o + | X
i
Se supone un umbral crtico I* a partir del cul,
si I supera a I* entonces una familia posee una
casa.
El umbral I*, al igual que I, no es observable
Si se supone que est distribuido normalmente
con la misma media y varianza es posible
estimar los parmetros del ndice y tambin
alguna informacin sobre el I*.



P
i
= P (Y=1|X) = P(I*
i
I
i
)
= P(Z
i
o + | X
i
) = F(o + | X
i
)

Donde
Z es una variable estndar normal, Z ~
N(0, o
2
)
F es la funcin de distribucin normal
acumulada


Explcitamente

}

|
.
|

\
|
=
Ii
Z
i
dz e I F
2 /
2
2
1
) (
t
}
+

|
.
|

\
|
=
Xi
Z
dz e
| o
t
2 /
2
2
1

0
0.2
0.4
0.6
0.8
1
X
p
0
-
+
Pi
I
i
= o + | X
i
Pr (I*
i
I
i
)
P
i
= F(I
i
)
Interpretacin de los Coeficientes
Una diferencia fundamental respecto a los
modelos lineales es que la influencia que
tienen las variables explicativas sobre la
probabilidad de elegir la opcin dada por y
i

= 1 (la derivada parcial, dyi/dx
i
=
k
en los
modelos lineales) no es independiente del
vector de caractersticas x
i
.
Una primera aproximacin a la relacin
entre las variables explicativas y la
probabilidad resultante es calcular los
efectos marginales sobre la variable latente
(y*) .
Si el efecto marginal expresa el
cambio de la variable dependiente
provocado por un cambio unitario en
una de las independientes
manteniendo el resto constante, los
parmetros estimados del Logit y el
Probit reflejan el efecto marginal de
las x
ik
en y
i
de la misma forma que en
el MLP, puesto qe E (y*|x) = x.


Los efectos marginales pueden construirse
sobre la probabilidad y, de hecho, este es el
tipo de presentacin ms frecuente.
El efecto de la ksima variable explicativa,
manteniendo el resto constante, puede ser
calculado como:



siendo F (.) la funcin de distribucin y f (.) la
funcin de densidad.
Por lo tanto, en un modelo binario la
influencia que tienen las explicativas sobre
la probabilidad de elegir la opcin dada
por yi = 1 no depende simplemente del
valor los coeficientes, sino tambin del
valor que toman las variables explicativas.
Por ej: El efecto marginal mximo ocurrir
cuando Pr (y = 1) = 0.5


Esto significa que, a diferencia de lo que
ocurre en el MLP, el efecto de una
variable sobre la probabilidad vara con el
valor de esa variable (es decir, no es
independiente del vector de
caractersticas x
i
).


En Logit



En Probit


Los resultados previos suponen que si bien los
coeficientes de estos modelos no son directamente
interpretables, sus valores relativos si lo son.
Por ej. el cociente j/
k
mide la importancia relativa de
los efectos marginales de las variables x
j
y x
k
.
Dado que los efectos marginales varian con x resulta
conveniente calcularlos para valores concretos de la
variable.
Los efectos marginales medios, obtenidos a partir de la
media muestral de la variable, son una de las formas
ms comunes de presentacin de losresultados
Tambin se puede calcular, por ejemplo,
el efecto medio respecto al conjunto de las
observaciones:


Inferencia
La inferencia no presenta diferencias
sustanciales respecto al Modelo Lineal
Gaussiano, por lo que para llevar a cabo
hiptesis sobre el valor de un coeficiente puede
emplearse un estadstico de la tStudent
tradicional (aunque, siendo rigurosos, la
distribucin apropiada sera la Normal).(ratio z)
Por su parte, para contrastar la validez de un
conjunto de restricciones como las que definen
la significacin global del modelo puede el test
de razn de verosimilitud (LR)
LR

Por ultimo, una forma de evaluacin del modelo
es la que se deriva de la bondad del ajuste.
Evidentemente, al tratarse de modelos no
lineales carece de sentido plantear la bondad
del ajuste en los terminos que definen el
coeficiente de determinacin (R2).
Existen criterios alternativos que, en cierto
modo, siguen la misma idea.
Todas estas medidas deben interpretarse con
cierta cautela
Su validez como criterios de seleccin del
modelo es ciertamente limitada.

Una medida es el pseudo R
2
de Mc Fadden:




En este caso, si los coeficientes son poco
significativos la capacidad explicativa del
modelo ser muy reducida y el Loglikelihood
sin restricciones ser muy similar al L
0
; por el
contrario, cuanto mayor sea la capacidad
explicativa del modelo, ms proximo estar R
2

a uno.