You are on page 1of 6

Recta de regresión en mínimos cuadrados

Hipótesis
𝑁 𝑁

𝑁𝑎0 + (∑ 𝑥𝑘 ) 𝑎1 = ∑ 𝑦𝑘
𝑘=1 𝑘=1
𝑁 𝑁 𝑁
2
(∑ 𝑥𝑘 ) 𝑎0 + (∑ 𝑥𝑘 ) 𝑎1 = ∑ 𝑥𝑘 𝑦𝑘
𝑘=1 𝑘=1 𝑘=1

Demostración
Tenemos la recta
𝑦 = 𝑎1 𝑥 + 𝑎0
Definimos la distancia vertical 𝑑𝑘 desde el punto (𝑥𝑘 , 𝑦𝑘 ) hasta el punto
(𝑥𝑘 , 𝑎1 𝑥𝑘 + 𝑎0 ) como:
𝑑𝑘 = |𝑎1 𝑥𝑘 + 𝑎0 − 𝑦𝑘 |

Gráfica 1. Distancias verticales a la recta

Debemos minimizar la suma de los cuadrados de las distancias verticales


𝑁 𝑁

𝐸(𝑎0 , 𝑎1 ) = ∑(𝑎1 𝑥𝑘 + 𝑎0 − 𝑦𝑘 ) = ∑ 𝑑𝑘 2 2

𝑘=1 𝑘=1

El valor mínimo de la función 𝐸(𝑎1 , 𝑎0 ) se determina igualando a cero las derivadas


𝜕𝐸 𝜕𝐸
parciales 𝜕𝑎 , que resolviendo resulta.
1 𝜕𝑎0
𝑁 𝑁
𝜕𝐸(𝑎0 , 𝑎1 )
= ∑ 2(𝑎1 𝑥𝑘 + 𝑎0 − 𝑦𝑘 ) = 2 ∑(𝑎1 𝑥𝑘 + 𝑎0 − 𝑦𝑘 )
𝜕𝑎0
𝑘=1 𝑘=1
𝑁 𝑁
𝜕𝐸(𝑎0 , 𝑎1 )
= ∑ 2(𝑎1 𝑥𝑘 + 𝑎0 − 𝑦𝑘 )(𝑥𝑘 ) = 2 ∑(𝑎1 𝑥𝑘 2 + 𝑎0 𝑥𝑘 − 𝑥𝑘 𝑦𝑘 )
𝜕𝑎1
𝑘=1 𝑘=1

Igualando a cero y aplicando la propiedad distributiva de la suma tenemos


𝑁 𝑁 𝑁

∑ 𝑎0 + 𝑎1 ∑ 𝑥𝑘 − ∑ 𝑦𝑘 = 0
𝑘=1 𝑘=1 𝑘=1
𝑁 𝑁 𝑁
2
𝑎0 ∑ 𝑥𝑘 + 𝑎1 ∑ 𝑥𝑘 − ∑ 𝑥𝑘 𝑦𝑘 = 0
𝑘=1 𝑘=1 𝑘=1

Reacomodando generamos nuestro sistema de ecuaciones para hallar los coeficientes.


𝑁 𝑁

𝑁𝑎0 + (∑ 𝑥𝑘 ) 𝑎1 = ∑ 𝑦𝑘
𝑘=1 𝑘=1
𝑁 𝑁 𝑁

(∑ 𝑥𝑘 ) 𝑎0 + (∑ 𝑥𝑘 2 ) 𝑎1 = ∑ 𝑥𝑘 𝑦𝑘
𝑘=1 𝑘=1 𝑘=1

Regresión polinomial
Hipótesis
𝑁 𝑁 𝑁
𝑛
𝑁𝑎0 + (∑ 𝑥𝑘 ) 𝑎1 + ⋯ + (∑ 𝑥𝑘 ) 𝑎𝑛 = ∑ 𝑦𝑘
𝑘=1 𝑘=1 𝑘=1
𝑁 𝑁 𝑁 𝑁
2 𝑛+1
(∑ 𝑥𝑘 ) 𝑎0 + (∑ 𝑥𝑘 ) 𝑎1 + ⋯ + (∑ 𝑥𝑘 ) 𝑎𝑛 = ∑ 𝑥𝑘 𝑦𝑘
𝑘=1 𝑘=1 𝑘=1 𝑘=1
𝑁 𝑁 𝑁 𝑁

(∑ 𝑥𝑘 2 ) 𝑎0 + (∑ 𝑥𝑘 3 ) 𝑎1 + ⋯ + (∑ 𝑥𝑘 𝑛+2 ) 𝑎𝑛 = ∑ 𝑥𝑘 2 𝑦𝑘
𝑘=1 𝑘=1 𝑘=1 𝑘=1

.
.
.
𝑁 𝑁 𝑁 𝑁
𝑛 𝑛+1 𝑛+𝑛
(∑ 𝑥𝑘 ) 𝑎0 + (∑ 𝑥𝑘 ) 𝑎1 + ⋯ + (∑ 𝑥𝑘 ) 𝑎𝑛 = ∑ 𝑥𝑘 𝑛 𝑦𝑘
𝑘=1 𝑘=1 𝑘=1 𝑘=1
Demostración
La definición anterior se puede extender fácilmente para cualquier polinomio.
Tenemos el polinomio
𝑦 = 𝑎0 + 𝑎1 𝑥 + ⋯ + 𝑎𝑛 𝑥 𝑛
La distancia vertical del punto a la función se define como
𝑑𝑘 = |𝑎0 + 𝑎1 𝑥𝑘 + ⋯ + 𝑎𝑛 𝑥𝑘 𝑛 − 𝑦𝑘 |
Debemos minimizar la suma de los cuadrados de las distancias verticales
𝑁 𝑁

𝐸(𝑎0 , 𝑎1 , … , 𝑎𝑛 ) = ∑(𝑎0 + 𝑎1 𝑥𝑘 + ⋯ + 𝑎𝑛 𝑥𝑘 𝑛 − 𝑦𝑘 )2 = ∑ 𝑑𝑘 2
𝑘=1 𝑘=1

El valor mínimo de la función 𝐸(𝑎0 , 𝑎1 , … , 𝑎𝑛 ) se determina igualando a cero las


𝜕𝐸 𝜕𝐸 𝜕𝐸
derivadas parciales 𝜕𝑎 , 𝜕𝑎 , … , 𝜕𝑎 que resolviendo resulta.
0 1 𝑛

𝑁
𝜕𝐸(𝑎0 , 𝑎1 , … , 𝑎𝑛 )
= ∑ 2(𝑎0 + 𝑎1 𝑥𝑘 + ⋯ + 𝑎𝑛 𝑥𝑘 𝑛 − 𝑦𝑘 )
𝜕𝑎0
𝑘=1
𝑁
𝜕𝐸(𝑎0 , 𝑎1 , … , 𝑎𝑛 )
= 2 ∑(𝑎0 + 𝑎1 𝑥𝑘 + ⋯ + 𝑎𝑛 𝑥𝑘 𝑛 − 𝑦𝑘 )
𝜕𝑎0
𝑘=1
𝑁
𝜕𝐸(𝑎0 , 𝑎1 , … , 𝑎𝑛 )
= ∑ 2(𝑎0 + 𝑎1 𝑥𝑘 + ⋯ + 𝑎𝑛 𝑥𝑘 𝑛 − 𝑦𝑘 )(𝑥𝑘 )
𝜕𝑎1
𝑘=1
𝑁
𝜕𝐸(𝑎0 , 𝑎1 , … , 𝑎𝑛 )
= 2 ∑(𝑎0 𝑥𝑘 + 𝑎1 𝑥𝑘 2 + ⋯ + 𝑎𝑛 𝑥𝑘 𝑛+1 − 𝑥𝑘 𝑦𝑘 )
𝜕𝑎1
𝑘=1
𝑁
𝜕𝐸(𝑎0 , 𝑎1 , … , 𝑎𝑛 )
= ∑ 2(𝑎0 + 𝑎1 𝑥𝑘 + ⋯ + 𝑎𝑛 𝑥𝑘 𝑛 − 𝑦𝑘 )(𝑥𝑘 2 )
𝜕𝑎2
𝑘=1
𝑁
𝜕𝐸(𝑎0 , 𝑎1 , … , 𝑎𝑛 )
= 2 ∑(𝑎0 𝑥𝑘 2 + 𝑎1 𝑥𝑘 3 + ⋯ + 𝑎𝑛 𝑥𝑘 𝑛+2 − 𝑥𝑘 2 𝑦𝑘 )
𝜕𝑎2
𝑘=1

.
.
.
𝑁
𝜕𝐸(𝑎0 , 𝑎1 , … , 𝑎𝑛 )
= ∑ 2(𝑎0 + 𝑎1 𝑥𝑘 + ⋯ + 𝑎𝑛 𝑥𝑘 𝑛 − 𝑦𝑘 )(𝑥𝑘 𝑛 )
𝜕𝑎𝑛
𝑘=1
𝑁
𝜕𝐸(𝑎0 , 𝑎1 , … , 𝑎𝑛 )
= 2 ∑(𝑎0 𝑥𝑘 𝑛 + 𝑎1 𝑥𝑘 𝑛+1 + ⋯ + 𝑎𝑛 𝑥𝑘 𝑛+𝑛 − 𝑥𝑘 𝑛 𝑦𝑘 )
𝜕𝑎𝑛
𝑘=1

Igualando a cero todas las derivadas parciales y aplicando la propiedad distributiva de la


suma tenemos:
𝑁 𝑁 𝑁 𝑁
𝑛
∑ 𝑎0 + 𝑎1 ∑ 𝑥𝑘 + ⋯ + 𝑎𝑛 ∑ 𝑥𝑘 − ∑ 𝑦𝑘 = 0
𝑘=1 𝑘=1 𝑘=1 𝑘=1
𝑁 𝑁 𝑁 𝑁
2 𝑛+1
𝑎0 ∑ 𝑥𝑘 + 𝑎1 ∑ 𝑥𝑘 + ⋯ + 𝑎𝑛 ∑ 𝑥𝑘 − ∑ 𝑥𝑘 𝑦𝑘 = 0
𝑘=1 𝑘=1 𝑘=1 𝑘=1
𝑁 𝑁 𝑁 𝑁

𝑎0 ∑ 𝑥𝑘 2 + 𝑎1 ∑ 𝑥𝑘 3 + ⋯ + 𝑎𝑛 ∑ 𝑥𝑘 𝑛+2 − ∑ 𝑥𝑘 2 𝑦𝑘 = 0
𝑘=1 𝑘=1 𝑘=1 𝑘=1

.
.
.
𝑁 𝑁 𝑁 𝑁
𝑛 𝑛+1 𝑛+𝑛
𝑎0 ∑ 𝑥𝑘 + 𝑎1 ∑ 𝑥𝑘 + ⋯ + 𝑎𝑛 ∑ 𝑥𝑘 − ∑ 𝑥𝑘 𝑛 𝑦𝑘 = 0
𝑘=1 𝑘=1 𝑘=1 𝑘=1

Reacomodando generamos nuestro sistema de ecuaciones para hallar los coeficientes.


𝑁 𝑁 𝑁
𝑛
𝑁𝑎0 + (∑ 𝑥𝑘 ) 𝑎1 + ⋯ + (∑ 𝑥𝑘 ) 𝑎𝑛 = ∑ 𝑦𝑘
𝑘=1 𝑘=1 𝑘=1
𝑁 𝑁 𝑁 𝑁

(∑ 𝑥𝑘 ) 𝑎0 + (∑ 𝑥𝑘 2 ) 𝑎1 + ⋯ + (∑ 𝑥𝑘 𝑛+1 ) 𝑎𝑛 = ∑ 𝑥𝑘 𝑦𝑘
𝑘=1 𝑘=1 𝑘=1 𝑘=1
𝑁 𝑁 𝑁 𝑁
2 3 𝑛+2
(∑ 𝑥𝑘 ) 𝑎0 + (∑ 𝑥𝑘 ) 𝑎1 + ⋯ + (∑ 𝑥𝑘 ) 𝑎𝑛 = ∑ 𝑥𝑘 2 𝑦𝑘
𝑘=1 𝑘=1 𝑘=1 𝑘=1

.
.
.
𝑁 𝑁 𝑁 𝑁

(∑ 𝑥𝑘 𝑛 ) 𝑎0 + (∑ 𝑥𝑘 𝑛+1 ) 𝑎1 + ⋯ + (∑ 𝑥𝑘 𝑛+𝑛 ) 𝑎𝑛 = ∑ 𝑥𝑘 𝑛 𝑦𝑘
𝑘=1 𝑘=1 𝑘=1 𝑘=1
Ajuste de curva Exponencial
Hipótesis
𝑁 𝑁

𝑁𝐴0 + (∑ 𝑋𝑘 ) 𝐴1 = ∑ 𝑌𝑘
𝑘=1 𝑘=1
𝑁 𝑁 𝑁
2
(∑ 𝑋𝑘 ) 𝐴0 + (∑ 𝑋𝑘 ) 𝐴1 = ∑ 𝑋𝑘 𝑌𝑘
𝑘=1 𝑘=1 𝑘=1

𝐴1
𝑎1 =
ln⁡(𝑏)
𝑎0 = 𝑒 𝐴0
Demostración
Supongamos que queremos aproximar nuestro conjunto de datos por una curva
exponencial de la forma:
𝑦 = 𝑎0 𝑏 𝑎1 𝑥
Para afrontar este problema vamos a obtener una relación lineal entre las variables
𝑎0 ⁡𝑦⁡𝑎1.
Aplicamos logaritmos
ln(𝑦) = ln⁡(𝑎0 𝑏 𝑎1 𝑥 )
ln(𝑦) = ln(𝑎0 ) + ln⁡(𝑏 𝑎1 𝑥 )⁡⁡
ln(𝑦) = ln(𝑎0 ) + 𝑎1 𝑥⁡𝑙𝑛(𝑏)
Ahora realizamos un cambio de variable
𝑌 = ln(𝑦)⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡𝐴0 = ln(𝑎0 )⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡𝐴1 = 𝑎1 ln⁡(𝑏)⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡𝑋 = 𝑥
Que remplazando da como resultado
𝑌 = 𝐴0 + 𝐴1 𝑋
Con lo cual regresamos al caso de regresión lineal por una recta, los coeficientes se
obtienen con
𝑁 𝑁

𝑁𝐴0 + (∑ 𝑋𝑘 ) 𝐴1 = ∑ 𝑌𝑘
𝑘=1 𝑘=1
𝑁 𝑁 𝑁
2
(∑ 𝑋𝑘 ) 𝐴0 + (∑ 𝑋𝑘 ) 𝐴1 = ∑ 𝑋𝑘 𝑌𝑘
𝑘=1 𝑘=1 𝑘=1

Una vez obtenidos los coeficientes 𝐴𝑜⁡ ⁡𝑦⁡𝐴1 para encontrar nuestros coeficientes
originales solo remplazamos en las ecuaciones del cambio de variable
𝐴1
𝑎1 =
ln⁡(𝑏)
𝑎0 = 𝑒 𝐴0

You might also like