REGRESION LOGISTICA

Miguel Cárdenas-Montes

Regresión logística es uno de los algoritmos más populares en minería

de datos. Pertenece a la categoría de aprendizaje supervisado. Más allá
de la importancia del propio algoritmo, algunos de sus conceptos sirve
de fundamento para las Redes Neuronales.

Objetivos:

Conocer las principales características de la regresión logística.

Este documento puede contener impre-
cisiones o errores. Por favor no lo utilice
para citarlo como una fuente fiable.
1 Regresión Logística

La técnica de regresión logística se usa en problemas de clasifica-

ción. Junto con los árboles de decisión y las redes neuronales es una
de las técnicas más populares en clasificación.
En regresión logística la hipótesis es elegida como una función sig-
moidea:

1
hθ ( x ) = T
(1)
1 + e−θ X
la cual puede escribirse también como la combinación de las siguientes
ecuaciones: Límites de la función sigmoidea:
lı́m g(z) = 0
z→−∞
lı́m g(z) = 1
hθ ( x ) = g(θ T X ) z→+∞

1
g(z) =
1 + e−z
La función sigmoidea g(z) = 1+1e−z tie-
La función g(z) tiene las siguientes características: ne la siguiente propiedad respecto a su
derivada:
g(z) ≥ 0,5 si z ≥ 0, lo cual indicará la etiqueta "1" g′ (z) = g(z) · (1 − g(z))

g(z) ≤ 0,5 si z ≤ 0, lo cual indicará la etiqueta "0"

Se define la frontera de decisión por aquello puntos que cumplen

que hθ ( x ) = 0,5. La frontera de decisión es una propiedad de la fun-
ción de hipótesis, y no de los datos de entrenamiento.
De esta manera la función de coste es:

!
m
1
J (θ ) = −
m ∑ yi log(hθ (xi )) + (1 − yi )log(1 − hθ (xi )) (2)
i =1
Esta función de coste J (θ ) se puede mini-
La función de coste J (θ ) está compuesta por dos términos, lo cuales mizar por cualquiera de las técnicas ha-
se anulan para cada una de las etiquetas: 0 ó 1. bituales: gradiente descendiente, ecua-
ción normal, o algoritmo evolutivo.
2 m m

2 Gradiente Descendente

Para minimizar la función de coste y encontrar el mejor ajuste a los

datos, se puede utilizar la técnica de gradiente descendiente.

∂
θ j := θ j − α J (θ j ) (3)
∂θ j
donde
m
∂ 1
∂θ j
J (θ j ) =
m ∑ ( h θ ( x i ) − yi ) · x i (4)
i =1