REGRESIN LINEAL CON UNA

VARIABLE

DESCENSO DE GRADIENTE
Martin Zhindon
DESCENSO DE GRADIENTE

Funcin de hiptesis:
Funcin de costo:
Descenso de gradiente
Estimar los parmetros de la funcin de
hiptesis
DESCENSO DE GRADIENTE

Detalle:
Iniciar con valores
Cambiar constantemente para reducir

hasta alcanzar el mnimo

DESCENSO DE GRADIENTE

ESTIMAR PARMETROS
El grfico a continuacin representa una
funcin cualquiera
Se ha colocado en los ejes x,y
respectivamente.
Se ha colocado en el eje vertical z
Los puntos en el grfico representan el
resultado de la funcin de costo, usando uno
parmetros especficos.
DESCENSO DE GRADIENTE
DESCENSO DE GRADIENTE

Para determinar que se ha alcanzado el

mnimo, nuestra funcin de costo tiene que
llegar hasta la punto ms bajo en el
grfico.
La forma de llegar al punto ms bajo es
tomando la derivada(linea tangencial a
la funcin de costo),
DESCENSO DE GRADIENTE

La forma de llegar al punto ms bajo es

tomando la derivada(linea tangencial a
la funcin de costo),
La pendiente de la tangente es la derivada
en un pundo dado.
La pendiente provee la direccin hacia
donde moverse.
Se dan pasos hacia abajo de la funcin de
costo.
DESCENSO DE GRADIENTE

Se dan pasos hacia abajo de la funcin de

costo.
El tamao de cada paso esta determinado
por el parametro denominado:
Tasa de aprendizaje
ALGORITMO DE DESCENSO DE
GRADIENTE

Repetir hasta la convergencia{

}
Actualizacin simultanea(implement)
DETALLE DERIVADA
DETALLE DERIVADA
DETALLE TASA DE APRENDIZAJE
COMO DETERMINAR QUE SE ALCANZO LA
SOLUCIN????
DETERMINAR SOLUCIN

Supongamos que se encuentra en el

PTIMO LOCAL(punto ms bajo) ,
como en la figura a continuacin.
Cual sera el siguiente paso en la gradiente
descendente
DETERMINAR SOLUCIN
TASA DE APRENDIZAJE FIJA

Descenso de
gradiente con fija
puede convergir al
mnimo local
Automticamente
toma valores cada
vez ms pequeos,
a media de que la
pendiente
disminuye
DESCENSO DE GRADIENTE APLICADO A
REGRESION LINEAL
DEDUCCIN
DEDUCCIN
DESCENSO DE GRADIENTE

ALGORITMO DE DESCENSO DE
GRADIENTE APLICADO A REGRESIN
LINEAL
DESCENSO DE GRADIENTE

Funcin de hiptesis:
Funcin de costo:
Descenso de gradiente
Estimar los parmetros de la funcin de hiptesis

Repetir hasta la convergencia{

ALGORITMO
DE
DESCENSO
} DE
GRADIENTE
FUNCIN DE COSTO PARA
REGRESIN LINEAL

La funcin de costo para regresin linea

siempre va a ser una funcin BOWL SHAPE
O FUNCIN CONVEXA
Posee un nico punto ptimo loca u ptimo
global
ALGORITMO EN ACCIN
ALGORITMO EN ACCIN
ALGORITMO EN ACCIN
ALGORITMO EN ACCIN
ALGORITMO EN ACCIN
ALGORITMO EN ACCIN
ALGORITMO EN ACCIN
ALGORITMO EN ACCIN
ALGORITMO EN ACCIN
ALGORITMO EN ACCIN
ALGORITMO EN ACCIN - SOLUCIN

Una vez
establecidos los
parametros de la
funcin de
hiptesis(ecuacin
de la recta que ms
se ajusta a los
datos), es posible
hacer predicciones
DESCENSO DE GRADIENTE-
PRACTICA

Investigar como programar el algoritmo de

descenso de gradiente.
Utilizando OCTAVE, implementar el
algoritmo de gradiente descendente para
encontrar los parmetros adecuados para
el algoritmo de aprendizaje de REGRESION
LINEAL que se encuentra
desarrollando(dejar de utilizar los 3
parmetros arbitrarios)
TRABAJO GRUPAL

INVESTIGAR
QUE ES PROGRAMACION
QUE ES UNA INSTRUCCION
QUE ES UN PROGRAMA DE COMPUTADOR
QUE ES SOFTWARE
QUE ES EL LENGUAJE DE PROGRAMACION
LENGUAJES DE PROGRAMACION
EXISTENTES(COMPUTACIN NUMRICA)
PRACTICA

INSTALACIN DE OCTAVE
VERSIN 4.0.3
INGENIERIA CIVIL

PROGRAMACIN DIGITAL
CON OCTAVE
CONCEPTOS BSICOS

PROGRAMACIN
DECIR QUE HACER
COMO HACER
DETALLE
INSTRUCCIONES CORRECTAS
TAREAS
CONCEPTOS BSICOS

INSTRUCCIN:
COMANDO BSICO ---> COMPUTADOR
COMPUTADOR
EJECUTA TAREA SIMPLE Y ESPECFICA
CONCEPTOS BSICOS

PROGRAMA DE COMPUTADOR
COMPUESTO VARIAS INSTRUCCIONES
REALIZA VARIAS TARES
PROGRAMADOR
ESCRIBRE PROGRAMAS O SOFTWARE
INSTRUCCIONES, COMO REALIZAR TAREAS
CONCEPTOS BSICOS

REALIZAR OPERACIONES ARITMETICAS

CON VARIABLES
CONCEPTOS BSICOS

SOFTWARE
PROGRAMA
COLECCIN DE PROGRAMAS
EJECUTAN EN EL COMPUTADOR
LOCAL
CONECTADO
CONCEPTOS BSICOS

COMPUTADOR FUNCIONAMIENTO
BSICO
PIENSA-->GRAN CANTIDAD CIRCUITOS
CIRCUITOS INTERRUPTORES
ENCENDIDO (1)
APAGADO (0)
CDIGO BINARIO(2 estados)
1s y 0s
Digito binario = bit
CONCEPTOS BSICOS

OCTAVE - LENGUAJE PARA HUMANOS Y

EL COMPUTADOR
Computador ----> binario
Humano ----> no binario
Lenguaje de Programacin
humano(instrucciones)---> traduce
--->computador(binario)
CONCEPTOS BSICOS

POR QUE PROGRAMAR?

TAREAS PERSONALIZADAS
CONOCER FUNCIONAMIENTO
INICIATIVA
CONCEPTOS BSICOS

POR QUE OCTAVE?

FACIL
LIBRE
OPEN SOURCE
COMPUTACIN NUMRICA
USO PROFESIONAL: CURSOS STANFORD
CONCEPTOS BSICOS

PENSAR COMO PROGRAMADOR

ADQUIRIR CONOCIMIENTOS CON OCTAVE
EXTENDER OTRO LENGUAJE
LENGUAJE COMPLETO
OCTAVE

VERSIN 4.0.3
OCTAVE GUI
SHELL
PERMITE INTERACTUAR CON PYTHON
>>> ------> ESPERA POR INSTRUCCIONES
OCTAVE MODO INTERACTIVO

MODO INTERACTIVO
ESCRIBIR UN COMANDO
OCTAVE EJECUTA
CORRER ---> EJECUTAR UNA
INSTRUCCION, COMANDO O
PROGRAMA.

PYTHON PROGRAMACIN

ERRORES DE SINTAXIS
REGLAS ORTOGRAFA Y GRAMTICA
INSTRUCCIN INCORRECTA A OCTAVE
INICIANDO CON OCTAVE

GUI Interfaz grfica de usuario

INSTRUCCIN
display(hola mundo)
disploy(hola mundo)
PALABRA RESERVADA
Keyword
Es parte del lenguaje Octave
display
INTERACTUANDO CON OCTAVE

5+3
INTERACTUANDO CON OCTAVE

5+3

2345 * 6789
INTERACTUANDO CON OCTAVE

5+3

2345 * 6789

1234567898765432123456789 *
9876543212345678987654321