1
UNIVERSIDADE DO ESTADO DO RIO DE JANEIRO
FACULDADE DE ENGENHARIA – FEN
PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELETRÔNICA
Disciplina: Detecção e Estimação
Docente: Flávio Ávila
Aluno: Leandro Ferreira Gentile Pinto
Matrícula: ME 1520336
Modelos de Regressão
Linear Simples e Múltipla
Resumo: Este trabalho apresenta o
conceito de regressão linear, que trata
sobre a relação linear entre variáveis
quantitativas. O objetivo principal é a
previsão de resultados, caracterizado
pela dependência de uma variável de
resposta por variáveis de previsão. Este
documento relata sobre dois tipos de
regressão linear, o conceito dos mínimos
quadrados e a máxima verossimilhança.
Palavras-chave: Regressão linear
simples, regressão linear múltipla,
mínimos quadrados, máxima
verossimilhança.
1. Introdução.
Primeiramente, devemos salientar o
significado de regressão. Regressão é um
método conceitual utilizado para
investigar a relação funcional entre
variáveis simples ou múltiplas [1]. Nós
podemos denotar Y como a variável de
resposta e o conjunto de variáveis de
previsão como x1, x2, ..., xi, onde i indica a
quantidade de variáveis de previsão. A
aproximação entre y e as variáveis x1, x2,
..., xi pode ser aplicada através do modelo
de regressão
Y = f (x1, x2, ..., xi) + ε (1.1)
Onde ε é o erro aleatório que representa
a disparidade da aproximação [1]. Este
erro ocorre porque o modelo de
regressão é falho em ajustar os dados
com precisão.
1.1 Procedimentos para a análise de
regressão.
A análise de regressão é constituída
pelas seguintes etapas [1]:
 Conhecimento do problema a ser
resolvido;
 Seleção das possíveis variáveis
relevantes;
 Coleção de dados importantes;
 Especificação do modelo a ser
utilizado;
 Escolha de um método para o
ajuste dos dados;
 Validação do modelo;
 Solução do problema através do
modelo escolhido.
A determinação da equação da
regressão é o resultado mais importante
para a análise do problema. Esta equação
pode estabelecer vários propósitos, por
exemplo, a avaliação das variáveis
individuais de previsão, a predição da
variável de resposta por intermédio
destas variáveis individuais e etc.
 2

O objetivo da análise de regressão é 2.1.1 Estimação dos Mínimos

compreender a técnica do conjunto de Quadrados.
dados fornecidos e ter um maior
aprendizado sobre as inter-relações das Muitos métodos sugerem obter
variáveis em um determinado ambiente estimativas de parâmetros em
[2]. determinados modelos. A estimação dos
mínimos quadrados é um método em que
os parâmetros ou coeficientes estimados
2. Modelos de Regressão Linear. são escolhidos para minimizar uma
quantidade denominada resíduo dos
Neste item, é abordado os dois tipos mínimos quadrados. Os parâmetros são
de regressão linear (simples ou múltipla) quantidades desconhecidas que
e seus principais fundamentos e caracterizam o modelo, porém, os
características. estimadores de parâmetros são dados
computacionais e são, portanto,
2.1 Regressão Linear Simples. estatísticos. De acordo com (2.2), (2.3) e
(2.4), podemos expressar os estimadores
A relação entre a variável de resposta de parâmetros [2]:
Y e as variáveis de previsão x1, x2, ..., xi
em um modelo de regressão linear ̂0 + 𝛽
𝑦̂𝑖 = 𝐸̂ [𝑌|𝑋 = 𝑥𝑖 ] = 𝛽 ̂1 𝑥𝑖 (2.5)
simples é expressada por [1]:
Com o erro residual ou de
Y = β0 + β1 X + ε (2.1) aproximação, teremos:

generalizando, temos: ̂0 − 𝛽
𝜀̂𝑖 = 𝑦̂𝑖 − 𝛽 ̂1 𝑥𝑖 (2.6)

yi = β0 + β1xi + εi, i = 1, ..., n (2.2) ̂ [𝑌|𝑋 = 𝑥𝑖 ] = 𝜎̂ 2

Onde β0 e β1 são denominados
coeficientes do modelo de regressão, yi
representa o i-ésimo valor da variável de
resposta Y, xi é o i-ésimo valor da
variável de previsão X e εi é o erro do i-
ésimo caso de aproximação de yi.
Um modelo de regressão linear
simples consiste em função média e
função variância, respectivamente [2]:
𝑉𝑎𝑟 (2.7)
O símbolo “^” indica que é o
estimador do parâmetro.
Todos os resultados computacionais
de mínimos quadrados para uma
regressão linear simples dependem
somente de soma, média dos quadrados
e soma de produtos cruzados,
mencionados na Tabela 2.1:

E[Y│X = x] = β0 + β1x (2.3)

Var[Y│X = x] = σ2 (2.4)

Em muitas aplicações, diversos

parâmetros são desconhecidos e devem
ser estimados usando os dados
pertencentes ao experimento. A função
variância em (2.4) é assumida como uma
constante, com um valor positivo σ2 e
desconhecido. Tabela 2.1 da referência [2].
 3

1
Onde, 𝑉𝑎𝑟(𝛽̂1 ) = 𝜎 2 𝑆𝑋𝑋 (2.12)
𝑥̅ : média da amostra de x;
1 𝑥̅ 2
𝑦̅ : média da amostra de y; 𝑉𝑎𝑟(𝛽̂0 ) = 𝜎 2 (𝑛 + ) (2.13)
𝑆𝑋𝑋
𝑆𝑋𝑋 : soma dos quadrados de x´s;
𝑆𝐷𝑥2 : variância de amostras de x´s; Entretanto, podemos efetuar as
𝑆𝐷𝑥 : desvio-padrão de amostras de x´s; ̂0 𝑒 𝛽
estimativas das variâncias de 𝛽 ̂1:
𝑆𝑌𝑌 : soma dos quadrados de y´s;
𝑆𝐷𝑦2 : variância de amostras de y´s; ̂ (𝛽̂1 ) = 𝜎̂ 2 1
𝑉𝑎𝑟 (2.14)
𝑆𝐷𝑦 : desvio-padrão de amostras de y´s; 𝑆𝑋𝑋

𝑆𝑋𝑌 : soma dos produtos cruzados; 𝑥̅ 2

𝑠𝑥𝑦 : covariância da amostra; ̂ (𝛽̂0 ) = 𝜎̂ 2 ( 1 +
𝑉𝑎𝑟 ) (2.15)
𝑛 𝑆𝑋𝑋
𝑟𝑥𝑦 : correlação da amostra.

2.2 Regressão Linear Múltipla.

2.1.2 Critério dos Mínimos Quadrados.
A regressão linear múltipla generaliza
A função de critério para obter a regressão linear simples, permitindo
estimadores é baseada nos resíduos dos muitos termos na sua função média [2].
mínimos quadrados. Os estimadores são Este tipo de regressão é utilizado em
os valores β0 e β1 que minimizam a muitos ramos da geociência para
seguinte função [2]: quantificar as relações entre dados
experimentais ou observações do campo
𝑛 [3].
𝑅𝑆𝑆(𝛽0 , 𝛽1 ) = ∑[𝑦𝑖 − 𝛽0 − 𝛽1 ] 2 O modelo de regressão linear múltipla
𝑖=1 consiste de n observações com variável
(2.8) de resposta Y e variáveis de previsão X1,
X2, ..., Xj. A expressão deste modelo é
Quando avaliamos os parâmetros dada por [1], [4], [5]:
estimados (𝛽̂0 , 𝛽
̂1), podemos nomear a
quantidade 𝑅𝑆𝑆(𝛽 ̂0 , 𝛽
̂1 ) como soma de Y = β0 + β1X1 + β2X2 + ... + βjXj + ε
quadrados residual, ou simplesmente, (2.16)
𝑅𝑆𝑆. Os estimadores 𝛽 ̂0 𝑒 𝛽
̂1 são
calculados pelas seguintes expressões: Onde β0, β1, β2, ..., βj são constantes
referidas como coeficientes de regressão
̂1 = 𝑆𝑋𝑌 𝑆𝐷𝑦 e ε é um erro aleatório de perturbação.
𝛽 = 𝑟𝑥𝑦 𝑆𝐷 (2.9) Através de uma formulação genérica,
𝑆𝑋𝑋 𝑥
temos:
̂0 = 𝑦̅ − 𝛽
𝛽 ̂1𝑥̅ (2.10)
yi = β0 + β1xi1 + ... + βjxij + εi (2.17)
Também há a possibilidade de estimar (i = 1, ..., n)
o parâmetro σ2:
Assim, yi representa o i-ésimo valor da
2 𝑅𝑆𝑆 variável de resposta Y, xi1, ..., xij
𝜎̂ = (2.11)
𝑛−2 representa valores de variáveis de
previsão para uma i-ésima unidade e εi é
As variâncias dos estimadores
o erro do i-ésimo caso de aproximação
̂ ̂1 são expressadas por:
𝛽0 𝑒 𝛽 de yi.
 4

A função média e a função variância Nós podemos escrever o modelo de

de um modelo de regressão linear regressão linear múltipla por:
múltipla são formuladas por [2]:
Y = Xβ + ε (2.23)
E[Y│X = x] = β0 + β1xi1 + ... + βjxij
(i = 1, ..., n) (2.18) A i-ésima linha de (2.23) pode ser
escrita como:
Var[Y│X = x] = σ2 (2.19)
yi = x’i β + εi (2.24)
Os parâmetros β0, β1, ..., βj e σ2 são
desconhecidos, precisam ser estimados.
2.2.2 Estimação com o Critério dos
Mínimos Quadrados.
2.2.1 Matrizes e vetores de dados da
regressão linear múltipla. O parâmetro 𝛽̂ (no caso, é o estimador
do vetor 𝛽), é escolhido para minimizar
O uso da notação de matrizes e a função de soma dos quadrados residual
vetores para este modelo facilita a [2], [5]:
compreensão de dados, portanto,
podemos dizer que [2], [5]:
𝑅𝑆𝑆(𝛽) = ∑(𝑦𝑖 − 𝑥 ′ 𝑖 𝛽)2

𝑦1 1 𝑥11 ⋯ 𝑥1𝑗 𝑅𝑆𝑆(𝛽) = (𝑌 − 𝑋𝛽)′(𝑌 − 𝑋𝛽) (2.25)

𝑦2 1 𝑥21 ⋯ 𝑥2𝑗
𝒀 = ( ⋮ ) 𝑿 = (⋮ ⋮ )
⋮ ⋮ (𝑌 − 𝑋𝛽)′ é a transposta de (𝑌 − 𝑋𝛽).
𝑦𝑛 1 𝑥𝑛1 ⋯ 𝑥𝑛𝑗
(2.20)
O estimador 𝛽̂ é calculado por:
Então, Y é um vetor [n x 1] e X é uma
matriz [n x (j + 1)]. Os coeficientes de 𝛽̂ = (𝑋 ′ 𝑋)−1 𝑋′𝑌 (2.26)
regressão podem ser atribuídos à um
vetor β [n x 1] e os erros de aproximação (𝑋 ′ 𝑋)−1 é a inversa de (𝑋 ′ 𝑋).
são incluídos em um vetor ε [n x 1].
O estimador 𝛽̂ depende somente das
𝛽0 𝜀1 estatísticas suficientes (𝑋 ′ 𝑋) e (𝑋 ′ 𝑌),
𝛽 𝜀2 porém, não podemos obter dados
𝜷 = ( ⋮1 ) 𝛆=(⋮) (2.21) computacionais da estimativa de
𝛽𝑗 𝜀𝑛 mínimos quadrados através do produto
de (2.26) porque é provável obter
A i-ésima linha de X será definida grandes erros de arredondamento e com
pelo símbolo x’i, que, no caso, será um possibilidade de cálculos imprecisos. O
vetor [(j + 1) x 1]. Mesmo que xi seja método computacional será baseado em
uma linha de X, é usado a convenção de decomposição de matriz, então supomos
que todos os vetores são vetores coluna, que 𝒳 seja uma matriz n x j:
portanto, precisamos escrever x’i para
(𝑥11 − 𝑥̅1 ) … (𝑥1𝑗 − 𝑥̅𝑗 )
representar a linha. A equação para a
(𝑥21 − 𝑥̅1 ) … (𝑥2𝑗 − 𝑥̅𝑗 )
função média avaliada em xi é: 𝒳= ⋮
⋮ ⋮
((𝑥𝑛1 − 𝑥̅1 ) … (𝑥𝑛𝑗 − 𝑥̅𝑗 ))
E[Y│X = xi] = x’i β = β0 + β1xi1 + ... +
βjxij (2.22) (2.27)
 5

Similarmente, podemos ter um vetor 3. A propriedade de Estimação da

𝒴 com elementos 𝑦𝑖 − 𝑦̅ e, portanto, há Máxima Verossimilhança.
a atribuição de uma nova matriz 𝒞, que é
formulada por [2]: O método de máxima
verossimilhança é comumente utilizado
1 𝒳 ′𝒳 𝒳 ′𝒴 em estimação [2].
𝒞= ( ) (2.28)
𝑛−1 𝒴′𝒳 𝒴′𝒴 Para um modelo de regressão linear
múltipla, podemos especificar que, para
Os elementos de 𝒞 são estatísticas de n observações:
resumo necessárias para dados
computacionais em uma regressão linear (𝑦𝑖 |𝑥𝑖 ) ∼ 𝒩(𝛽 ′ 𝑥𝑖 , 𝜎 2 ) (i = 1, ..., n)
simples. Se indicamos 𝛽 ∗ como um vetor (3.1)
que exclui o parâmetro 𝛽0, então o
estimador de 𝛽 ∗ para j ≥ 1 [2] é: Para este modelo, a função densidade
de probabilidade gaussiana é dada por
𝛽̂ ∗ = (𝒳 ′ 𝒳)−1 𝒳 ′ 𝒴 (2.29) [2]:

1 (𝑦𝑖 − 𝛽 ′𝑥𝑖 )2
Também temos que o estimador de 𝛽0 𝑝𝑦𝑖 (𝑦𝑖 |𝑥𝑖 , 𝛽, 𝜎 2 ) = exp (− 2𝜎 2
)
√2𝜋𝜎
é dado por: (3.2)
′
𝛽̂0 = 𝑦̅ − 𝛽̂ ∗ 𝑥̅ (2.30) Assumindo que as observações são
independentes, a função de
Onde 𝑥̅ é o vetor contendo médias de verossimilhança (L) torna-se um produto
amostras de todos os termos, exceto pelo das densidades para cada n observações,
parâmetro 𝛽0. portanto:
A expressão (2.25) avaliada por 𝛽̂ é a 𝑛
soma de quadrados residual da regressão 2|
𝐿(𝛽, 𝜎 𝑌) = ∏ 𝑝𝑦𝑖 (𝑦𝑖 |𝑥𝑖 , 𝛽, 𝜎 2 )
linear múltipla, ou simplesmente RSS,
𝑖=1
portanto [2], [5]:
𝑛
′ 1 (𝑦𝑖 − 𝛽 ′ 𝑥𝑖 )2
𝑅𝑆𝑆 = (𝑌 − 𝑋𝛽̂ ) (𝑌 − 𝑋𝛽̂ ) (2.31) =∏ 𝑒𝑥𝑝 (−
2𝜎 2
)
𝑖=1
√2𝜋𝜎

As variâncias dos estimadores 𝛽̂ e 𝛽̂ ∗ 𝑛 𝑛

1 1
são: = ( ) 𝑒𝑥𝑝 (− 2 ∑(𝑦𝑖 − 𝛽 ′ 𝑥𝑖 )2 )
√2𝜋𝜎 𝜎
𝑖=1
𝑉𝑎𝑟(𝛽̂ ) = 𝜎 2 (𝑋 ′ 𝑋)−1 (2.32) (3.3)

A estimativa da máxima
𝑉𝑎𝑟(𝛽̂ ∗ ) = 𝜎 2 (𝒳 ′ 𝒳)−1 (2.33)
verossimilhança é influenciada pelos
valores de β e σ2, que maximizam a
O estimador de 𝜎 2 é calculado através função de verossimilhança. Estes valores
de: também maximizarão o logaritmo da
𝑅𝑆𝑆
verossimilhança:
𝜎̂ 2 = (2.34)
𝑛−(𝑗+1)
𝑛
Com o estimador 𝜎̂ 2 , é possível log(𝐿(𝛽, 𝜎 2 | 𝑌)) = − 2 log(2𝜋) −
𝑛 1
estimar a variância de 𝛽̂ : 2
log(𝜎 2 ) − 2𝜎2 ∑𝑛𝑖=1(𝑦𝑖 − 𝛽 ′ 𝑥𝑖 )2 (3.4)

̂ (𝛽̂ ) = 𝜎̂ 2 (𝑋 ′ 𝑋)−1
𝑉𝑎𝑟 (2.35)
 6

Agora, se utilizarmos o critério dos Processing, Vol. 1, pp. 700-703

mínimos quadrados, sendo 𝛽̂ o estimador (1995).
de 𝛽, teremos [2]:
[5] Nogueira, Fábio Esteves. “Modelos
log(𝐿(𝛽̂ , 𝜎 | 𝑌)) =
2 𝑛
− 2 log(2𝜋) − de Regressão Multivariada”, Tese
𝑛 1 de Mestrado, Instituto de
log(𝜎 2 ) − 2𝜎2 𝑅𝑆𝑆 (3.5)
2 Matemática e Estatística, USP
(2007).
O conceito de máxima
verossimilhança na regressão linear é [6] Chien, Jen-Tzung. “Linear
utilizado em demasia nas referências [6] Regression based Bayesian
e [7], que tratam sobre um método de predictive classification for
adaptação acústica utilizando modelos speech recognition”, IEEE
de Markov. Transactions on Speech and
Audio Processing, Vol. 11, pp.
4. Conclusão. 70-79 (2003).
Neste trabalho foram apresentados os [7] Leggetter, C. J.; Woodland, P.C.
conceitos principais de regressão linear “Maximum likelihood linear
simples e múltipla e, foi possível regression for speaker adaptation of
constatar que a estimação de diversos continuous density hidden Markov
parâmetros contribui para uma análise models”, Computer Speech &
mais profunda das variáveis que estão Language, Vol. 9, pp. 171-185
inseridas nos modelos de regressão, (1995).
portanto, a contribuição é relevante para
dados computacionais.

5. Referências bibliográficas.

[1] Chatterjee, S.; Hadi, Ali S.

“Regression Analysis by Example”,
4th Edition, John Wiley & Sons, Inc.
(2006).

[2] Weisberg, S. “Applied Linear

Regression”, 3rd Edition, John
Wiley & Sons, Inc. (2005).

[3] Van Gaans, P. F. M.; Vriend, S. P.

“Multiple Linear Regression with
correlations among the predictor
variables. Theory and Computer
Algorithm Ridge (Fortran 77)”,
Computers & Geosciences, Vol. 16,
No. 7, pp. 933-952 (1990).

[4] Cox, S. J. “ A Speaker Adaptation

Technique using Linear Regression”
International Conference on
Acoustics, Speech and Signal