1

Regresso no linear
Modelos de regresso linear e no linear
Modelos de regresso linear
At o presente momento do curso, consideramos modelos lineares nos parmetros.
Por exemplo:
1) Modelo linear geral:
i p i p i i
X X Y c | | | + + + + =
1 , 1 1 1 0
...
1) Modelo polinomial:
i i i i
X X Y c | | | + + + =
2
1 2 1 1 0
2
1) Modelo com variveis transformadas:
i i i i
X X Y c | | | + + + = ) exp( log
2 2 1 1 0 10
Os modelos lineares, podem ser escritos, na forma:
i i i
f Y c + | = ) , (X
Onde X
i
o vetor de observaes das variveis preditoras para o i-simo
caso:
(
(
(
(
(
(

=
1 ,
1
.
.
1
p i
i
i
X
X
X
| o vetor dos parmetros, e f(X
i
,|) representa o valor esperado E(Y
i
), o qual
para o modelo linear :
X X
i
'
) , ( =
i
f
3
Nos modelos lineares, o problema de estimao dos parmetros, cai no problema
de resolver um sistema de equaes lineares com relao aos coeficientes de
regresso desconhecidos. Existe uma soluo nica e, portanto, obtemos uma
forma analtica de estimao dos parmetros. Esta forma a mesma para
qualquer modelo e qualquer conjunto de dados.
Alm disso, como os coeficientes so combinaes lineares das observaes,
pela teoria estatstica, demonstra-se que a distribuio amostral dos coeficientes
de regresso segue uma distribuio t, assim, podemos realizar os testes de
hipteses, calcular os intervalos de confiana para esses coeficientes.
Existe, entretanto, muitas situaes nas quais no desejvel, ou mesmo
possvel, descrever um fenmeno atravs de um modelo de regresso linear.
Ao invs de se fazer uma descrio puramente emprica do fenmeno em
estudo, pode-se, a partir de suposies importantes sobre o problema
(freqentemente dadas atravs de uma ou mais equaes diferenciais),
trabalhar no sentido de obter uma relao terica entre as variveis
observveis de interesse. O problema, diferentemente do caso linear, que os
parmetros entram na equao de forma no linear, assim, ns no podemos
simplesmente aplicar frmulas para estimar os parmetros do modelo.
Modelos de regresso no linear
4
Os modelos no lineares podem ser escritos como:
i i i
f Y c + = ) , ( X
f(X
i
, ) uma funo no linear; os erros, c
i
, tem mdia zero, varincia
constante, e no so correlacionados. Assume-se que os erros apresentam
distribuio normal, so independentes e com varincia constante. o vetor
de parmetros do modelo.
Outra vantagem dos modelos no lineares obter parmetros que so
facilmente interpretveis.
Em muitas situaes, necessita-se menos parmetros nos modelos no lineares
do que nos lineares, isto simplifica e facilita a interpretao.
Dois exemplos de modelos no lineares.
1) Modelo exponencial
(1) X Y
i i i
c + = ) exp(
1 0

0
e
1
so os parmetros do modelo; X
i
so constantes conhecidas (varivel
preditora) e c
i
so os termos do erro, independentes, com distribuio normal
de mdia 0 (zero) e varincia o
2
.
5
Diferenciando f com respeito a
0
e
1
obtemos (usando MAPPLE):

X) exp(
1
0

=
c
cf
X) Xexp(
1 0
1

=
c
cf
Como estas derivadas envolvem pelo menos um dos parmetros, o modelo
reconhecido como no linear.
Um modelo exponencial mais geral:
(2) X Y
i i i
c + + = ) exp(
2 1 0
Veja figura.
6
Scatterplot
y:=100-50*exp(-2*x)
X
E
(
X
)
50
60
70
80
90
100
110
0,0 0,5 1,0 1,5 2,0 2,5 3,0 3,5
Estes modelos exponenciais so muito utilizados em estudos de crescimento,
onde a taxa de crescimento num dado tempo X proporcional a quantidade de
crescimento restante (final) que ocorre com o aumento do tempo, e
0
representa
o crescimento mximo
7
2) Modelo logstico
(3) Y
i X i
i
c


+ =
+ ) exp( 1
2 1
0
c
i
so os termos do erro, independentes, com distribuio normal de mdia 0
(zero) e varincia o
2
. A funo esperada :
) exp( 1
2 1
0
) , (
i
X
f


+
= X
y:=10/(1+20*exp(-2*x))
X
E
(
Y
)
-2
0
2
4
6
8
10
12
-0,5 0,0 0,5 1,0 1,5 2,0 2,5 3,0 3,5
O modelo logstico
muito usado para
variveis qualitativas.
Exemplo: acertos na
cache (acerta/no
acerta). Neste caso, os
erros no tem mais
distribuio normal
com varincia
constante.
8
Alguns aspectos do uso de modelos no lineares:
os modelos no lineares tem uma base terica, os parmetros dos modelos
fornecem um maior conhecimento sobre o fenmeno em estudo do que os
modelos lineares.
os modelos no lineares, geralmente fornecem um bom ajuste, com menos
parmetros do que os modelos lineares.
A transformao de um modelo no linear em um modelo linear nos
parmetros, se por um lado facilita o processo de ajuste, implica em fazer
suposies no realsticas sobre o termo dos erros (distribuio normal com
varincia constante); alm disso, perde-se informao sobre os erros padres
dos parmetros originais.
Alm disso, existem modelos que so intrinsicamente no lineares, isto , no
podem ser linearizados por transformao.
Embora vamos usar variveis contnuas como variveis independentes, no h
razo para que as variveis independentes, nos modelos no lineares, sejam
contnuas. Ao contrrio, podemos fazer uso de variveis dummy para indicar a
presena ou ausncia de um grupo, ou codificar diferenas entre indivduos
(dados de medidas repetidas).
9
Estimao de modelos no lineares, um bom exemplo de que a despeito de
se obter os resultados no computador, no significa que os resultados sejam
corretos ou razoveis.
A forma geral do modelo no linear
(4) ) , (
i i i
f Y c + = X
(
(
(
(
(
(

=
(
(
(
(
(
(

=
1
1
0
1) x (p
2
1
) 1 (
.
.

.
.
p iq
i
i
x q
i
X
X
X

X
Onde f(X
i
, ) a funo esperada para o i-simo caso.
10
Estimao dos parmetros
Mtodos: Mnimos quadrados
Mxima verossimilhana
Importante: nos modelos no lineares no possvel encontrarmos formas
analticas para os estimadores de mnimos quadrados ou mxima
verossimilhana. Ao invs, mtodos numricos devem ser usados
juntamente com os mtodos referidos e, isto, requer clculos
computacionais intensivos. Sempre usamos softwares computacionais.
Exemplo
Um administrador de um hospital deseja ajustar um modelo de regresso para
estimar o tempo de recuperao depois que o paciente saiu do hospital devido
a uma doena grave. A varivel preditora o nmero de dias que o paciente
ficou hospitalizado (X), e a varivel resposta um ndice de prognstico para
o tempo de recuperao (Y), onde, valores grandes indicam um bom
prognstico. A seguir temos os dados e o diagrama de disperso:
11
Dados para pacientes com doena grave.
Pacientes Dias hospitalizados Prognstico (ndice)
i X
i
Y
i
1 2 54
2 5 50
3 7 45
4 10 37
5 14 35
6 19 25
7 26 20
8 31 16
9 34 18
10 38 13
11 45 8
12 52 11
13 53 8
14 60 4
15 65 6
12
Scatterplot
Dias hospitalizado
P
r
o
g
n

s
t
i
c
o

(

n
d
i
c
e
)
0
10
20
30
40
50
60
-10 0 10 20 30 40 50 60 70
Encontrou-se na literatura que a relao entre a varivel preditora e a varivel
resposta segue o modelo:
i i i
X Y c + = ) exp(
1 0
Onde os c
i
so os termos dos erros, independentes, com distribuio normal de
mdia 0 (zero) e varincia o
2
(constante). Precisamos estimar os parmetros
0

e
1
.
13
Mtodo de mnimos quadrados na
regresso no linear
Como no modelo de regresso linear geral, o critrio de mnimos
quadrados :
(5) f Y Q
n
i
i i
=
=
1
2
)) , ( ( X
O critrio Q deve ser minimizado com respeito aos parmetros de regresso
no linear
0
,
1
,...,
p-1
para obter as estimativas de mnimos quadrados.
Mtodos: 1) procura numrica e 2) equaes normais de mnimos quadrados.
A diferena com a regresso linear que a soluo das equaes normais
usualmente requer um mtodo numrico iterativo, pois a soluo analtica
geralmente no pode ser encontrada.
14
Exemplo: para os dados de pacientes com doena grave, a funo
esperada :
) exp( ) (
1 0
X , f = X
=
=
n
i
i i
X Y Q
1
2
1 0
)) exp( (
O critrio Q dado por:
Mtodo da mxima verossimilhana:
Vamos considerar que os erros c
i
so independentes, normalmente
distribudos com varincia constante. A funo de mxima verossimilhana
dada por:
| |
(

=
n
i
i i
n
X Y L
1
2
1 0
2 2 / 2
2
) exp(
2
1
exp
) 2 (
1
) , (
o to
o
Maximizar esta funo com relao aos parmetros, idntico a minimizar o
somatrio na parte do expoente, portanto, chega-se aos mesmos estimadores com
os dois mtodos.
15
Soluo das equaes normais
Para obter as equaes normais para um modelo no linear
i i i
f Y c + = ) , ( X
Precisamos minimizar o critrio Q

=
=
n
i
i i
f Y Q
1
2
)) , ( ( X
com respeito aos parmetros
0
,
1
,...,
p-1-
. As derivadas parciais de Q
com respeito aos
k
:

=
(

c
c
=
c
c
n
i
k
i
k
f
f Y
Q
1
i
i
) , (
)) , ( ( 2

X
X
16
Igualando-se as derivadas parciais a zero e, substituindo-se
k
por g
k

(estimativas de mnimos quadrados), obtemos o sistema de equaes normais
(p equaes, k=0,1,...,p-1):
(6)
f
f
f
Y
n
i
k
i
n
i
i
k
i
i
0
) , (
) , (
) , (
1 1
=
(

c
c

c
c
=

= =
=
g
X
g X
X
g

Onde g o vetor das estimativas de mnimos quadrados g
k
:
(
(
(
(
(
(

=
1 - p
1
0
) 1 x (
g
.
.
g
g
p
g
As equaes normais (6) so no lineares nas estimativas dos parmetros g
k
,
portanto, difceis de serem resolvidas. Dessa forma, vamos precisar de mtodos
numricos para obter uma soluo das equaes normais iterativamente.
17
Exemplo: para os dados de pacientes com doena grave, a funo
esperada para o i-simo caso :
) exp( ) (
1 0 i i
X , f = X
As derivadas parciais j foram mostradas anteriormente. Substituindo-se
0
e

1
pelas estimativas de mnimos quadrados g
0
e g
1
, as equaes normais (6)
so dadas por:
0 ) exp( ) exp( ) exp(
0 ) exp( ) exp( ) exp(
1 0 1 0 1 0
1 1 0 1
=
=


i i i i i i
i i i i
X g X g X g g X g X g Y
X g X g g X g Y
Procedendo-se a algumas simplificaes, obtemos:
0 ) 2 exp( ) exp(
0 ) 2 exp( ) exp(
1 0 1
1 0 1
=
=


i i i i i
i i i
X g X g X g X Y
X g g X g Y
So equaes no lineares nas estimativas dos parmetros, assim, mtodos
numricos devem ser empregados(mtodos iterativos).
18
Mtodo de Gauss-Newton (Procura numrica
direta Direct numerical search)
Na maioria dos problemas com modelos no lineares, mais prtico encontrar
as estimativas de mnimos quadrados por procedimentos de procura numrica
direta do que, inicialmente, obter as equaes normais e, ento, usar mtodos
numricos para encontrar a soluo dessas equaes iterativamente.
O mtodo de Gauss-Newton, tambm conhecido como mtodo da
linearizao, usa uma expanso em srie de Taylor para aproximar o modelo
de regresso no linear com termos lineares e, ento, aplica mnimos
quadrados ordinrio para estimar os parmetros. Iteraes desses passos
geralmente conduzem a uma soluo para o problema de regresso no linear.
O mtodo de Gauss-Newton inicia dando-se valores iniciais aos parmetros
0
,

1
,...,
p-1
, denotados por:

) 0 (
1
) 0 (
1
) 0 (
0
, ,
p
g ..., g g
Esses valores iniciais podem ser obtidos de estudos anteriores, conhecimentos
tericos ou por uma grade de valores que minimize (5).
19
Com os valores iniciais dos parmetros, aproximamos a funo esperada f(X
i
, )
para os n casos por termos lineares da expanso em srie de Taylor, de primeira
ordem, em torno dos valores iniciais g
k
(0)
. Obtemos para o i-simo caso:
(7) ) (
) , (
) , ( ) , (
) 0 (
1
0
i
) 0 (
i i
) (
k k
p
k
k
g
f
f f
(

c
c
+ ~
=

0
g
X
g X X
Aqui g
(0)
o vetor dos valores iniciais dos parmetros. Observe que as
derivadas, assim como a f, so avaliadas em
k
=g
k
(0)
.
Fazendo-se:
) 0 (
) , (
(7.A) ) (
) , (
i
) 0 (
) 0 ( ) 0 (
(0)
i
0
g
X
g X
=
(

c
c
=
=
=
k
ik
k k k
i
f
D
g
f f

|
20
Podemos reescrever a aproximao (7) como:
(8) D f f
k
p
k
ik i i
) 0 (
1
0
) 0 ( ) 0 (
) , ( |

=
+ ~ X
E uma aproximao para o modelo (4)
i i i
f Y c + = ) , ( X
dada por:
(9) D f Y
i k
p
k
ik i i
c | + + ~

=
) 0 (
1
0
) 0 ( ) 0 (
Passando f
i
(0)
para o lado esquerdo e, denotando a diferena Y
i
- f
i
(0)
por Y
i
(0)
,
temos:
(10) n 1,2,..., i D Y
i k
p
k
ik i
= + ~

=
c |
) 0 (
1
0
) 0 ( ) 0 (
Observe que chegamos a uma aproximao para um modelo de regresso
linear.
21
Cada coeficiente de regresso |
k
(0)
representa a diferena entre os
verdadeiros parmetros da regresso e as estimativas iniciais dos
mesmos. Assim, os coeficientes de regresso representam uma correo
que deve ser feita nos coeficientes de regresso iniciais. O propsito de
ajustar o modelo de regresso linear (10) estimar os coeficientes de
regresso |
k
(0)
e usar essas estimativas para corrigir as estimativas iniciais
dos parmetros de regresso.
O modelo (10) na forma matricial fica:
(11) D Y + ~
) 0 ( ) 0 ( ) 0 (
(
(
(
(
(
(

=
(
(
(
(
(

) 0 (
1 ,
) 0 (
0
) 0 (
1 , 1
) 0 (
10
x
) 0 (
) 0 (
) 0 (
1 1
x
) 0 (
...
.
.
.
...
.
.
.
p n n
p
p n
n n
1 n
D D
D D

f Y
f Y
D Y
22
(
(
(
(
(

=
(
(
(
(
(
(

n
n
p
p
c
c
|
|
.
.
.

.
.
.
1
) 1 x (
) 0 (
1
) 0 (
0
1) x (
) 0 (

Observe as similaridades entre o modelo de regresso linear :
X Y + =
X D
A matriz D faz o papel da matriz X:
Podemos, portanto, estimar os parmetros |
(0)
pelo mtodo de mnimos
quadrados ordinrios:
) 0 ( )' 0 ( 1 ) 0 ( )' 0 ( (0)
) ( Y D D D b

=
Usar um programa de computador que faa regresso mltipla, porm no
esquecer de especificar que no desejamos o intercepto.
23
Ns, ento, usamos estas estimativas de mnimos quadrados para obter os
coeficientes de regresso estimados corrigidos g
k
(1)
por meio de (7.A):
) 0 ( ) 0 ( ) 1 (
k k k
b g g + =
Onde g
k
(1)
representa a estimativa corrigida de
k
no fim da primeira iterao.
Na forma matricial, temos:
(11.A)
(1) ) 0 ( ) 0 (
b g g + =
Neste ponto, ns podemos verificar se os coeficientes de regresso corrigidos
representam uma melhoria na direo apropriada. Denotaremos o critrio Q,
calculado nos coeficientes de regresso iniciais g
(0)
, por SQE
(0)
, ou seja,

= =
= =
n
i
i i
n
i
i i
f Y f Y SQE
1
2 ) 0 (
1
2 (0) ) 0 (
) ( )) , ( ( g X
24
No final da primeira iterao, os coeficientes de regresso corrigidos so g
(1)
.
Denotaremos o critrio Q, calculado nos coeficientes de regresso g
(1)
, por
SQE
(1)
, ou seja,

= =
= =
n
i
i i
n
i
i i
f Y f Y SQE
1
2 ) 1 (
1
2 ) 1 ( ) 1 (
) ( )) , ( ( g X
Se o algoritmo de Gauss-Newton est na direo correta, SQE
(1)
dever ser menor
do que SQE
(0)
, pois os coeficientes de regresso no passo (1) devero ser melhores.
O mtodo de Gauss-Newton repete o procedimento como foi descrito, com g
(1)

sendo, agora, usado como valores iniciais. Isto resulta num novo conjunto de
estimativas corrigidas, representadas por g
(2)
, e teremos um novo critrio SQE
(2)
.
O processo iterativo continua at que as diferenas entre sucessivas estimativas
dos coeficientes g
(s+1)
-g
(s)
e/ou a diferena entre sucessivas soma de quadrados de
erros SQE
(s-1)
-SQE
(s)
tornam-se desprezveis. As estimativas finais dos
coeficientes de regresso so representadas por g e a soma de quadrado dos erros
por SQE.

25
Exemplo: para os dados de pacientes com doena grave, a funo :
i i i
X Y c + = ) exp(
1 0
Usando o PROC NLIN do SAS, vamos fazer a anlise estatstica dos dados. O
programa :
data doenca;
input obs dias indice;
datalines;
1.000 2.000 54.000
2.000 5.000 50.000
3.000 7.000 45.000
4.000 10.000 37.000
5.000 14.000 35.000
6.000 19.000 25.000
7.000 26.000 20.000
8.000 31.000 16.000
9.000 34.000 18.000
10.000 38.000 13.000
11.000 45.000 8.000
12.000 52.000 11.000
13.000 53.000 8.000
14.000 60.000 4.000
15.000 65.000 6.000
;

proc print data=doenca; run;

proc nlin data=doenca method=gauss maxiter=20;
parms a=56.6646
b=-0.03797;
model indice = a*exp(b*dias);
der.a=exp(b*dias);
der.b=a*dias*exp(b*dias);
output out=doencaou p=predito r=residuo;
run;
Os valores iniciais de a e b, foram obtidos atravs de
uma regresso linear simples do modelo:
X Y
1 0
ln ln + =
26
Output do SAS:
Non-Linear Least Squares Iterative Phase Method: Gauss-Newton
Iter A B Sum of Squares
0 56.664600 -0.037970 56.086713
1 58.557844 -0.039533 49.463830
2 58.605484 -0.039585 49.459304
3 58.606531 -0.039586 49.459300
4 58.606565 -0.039586 49.459300
NOTE: Convergence criterion met.


Non-Linear Least Squares Summary Statistics

Source DF Sum of Squares Mean Square

Regression 2 12060.540700 6030.270350
Residual 13 49.459300 3.804562
Uncorrected Total 15 12110.000000

(Corrected Total) 14 3943.333333


Parameter Estimate Asymptotic Asymptotic 95 %
Std. Error Confidence Interval
Lower Upper
A 58.60656517 1.4721603058 55.426158088 61.786972243
B -0.03958645 0.0017112939 -0.043283475 -0.035889427
27
Scatterplot
y:=58,6065*exp(-0,03959*x)
Dias

n
d
i
c
e
-10
10
30
50
70
90
110
-10 0 10 20 30 40 50 60 70
% 78 , 98 9875 , 0 1 1
333 , 3943
4593 , 49 2
= = = =
Corrigdo SQTotal
SQErro
r
28
Exerccio: vamos considerar os dados de pacientes com doena grave.
Aplicar a transformao logartmica e obter as estimativas iniciais dos
coeficientes de regresso.
i i i
X Y c + = ) exp(
1 0
A funo resposta :
Aplicando o logaritmo, obtemos:
i i
X Y
1 0
log log + =
Podemos aproximar o modelo exponencial pelo modelo linear:
1 1
0
'
1 0
'
log
log
|
|
c | |
=
=
=
+ + =
0
i i
i i i

Y Y
: onde X Y
29
Com o uso do PROC IML do SAS obtemos:

proc iml;
reset print;

Y={54, 50, 45, 37, 35, 25, 20, 16, 18, 13, 8, 11, 8, 4, 6};

X={1 2, 1 5, 1 7, 1 10, 1 14, 1 19, 1 26, 1 31, 1 34, 1 38, 1 45, 1 52,
1 53, 1 60, 1 65};

YT=log(Y);

XLX=X`*X;

XLXinv=inv(xlx);

b=XLXinv*x`*yt; b
0
=4,0371 b
1
=-0,03797
03797 , 0
6646 , 56 ) exp(
1
) 0 (
1
0
) 0 (
0
= =
= =
b g
b g
30
A soma de quadrados do erro no passo zero, SQE
(0)
, requer o clculo da
funo de regresso no linear
(12) X f
i
) exp( ) , (
1 0
= X
para cada caso, utilizando os valores iniciais. Por exemplo, para o primeiro
caso, onde X
1
=2, obtemos:
52,5208 97(2)) exp(-0,037 * 56,6646
X g g f f
= =
= = ) exp( ) , (
1
) 0 (
1
) 0 (
0
) 0 (
1
) 0 (
1
g X
Para os 15 casos, temos:
52.520821
46.866338
43.439088
38.76236
33.300409
27.542208
21.11386
17.462918
15.58283
13.387075
10.262533
7.8672587
7.574139
5.8063357
4.8023226
/* valores iniciais */

g00=56.6646; g10=-0.03797;

X2=X[1:15,2];

/* funcao de regresso */

f=g00*exp(g10*X2);
f
(0)
=
31
Para o primeiro caso, Y
1
=54, portanto, o desvio da resposta esperada :
4792 , 1 5208 , 52 54
) 0 (
1 1
) 0 (
1
= = = f Y Y
1.4791792
3.133662
1.5609122
-1.76236
1.6995911
-2.542208
-1.11386
-1.462918
2.4171698
-0.387075
-2.262533
3.1327413
0.425861
-1.806336
1.1976774
Y
(0)
=
A soma de quadrados do erro no passo zero, SQE
(0)
, vale:
0869 , 56 1977 , 1 ...
) ( ) (
2
2 ) 0 ( ) 0 ( ) 0 (
= + + =

=

=
2
i i i
1,4795
Y f Y SQE
Y0=Y-f;

/* soma de quadrados do erro no
passo zero */

SQE0=Y0`*Y0;
32
Para obter as estimativas dos coeficientes corrigidos, precisamos calcular
D
(0)
. Para obter esta matriz, precisamos das derivadas parciais da funo de
regresso (12) calculadas em = g
(0)
.
Para ilustrar, vamos tomar o caso 1, para o qual X
1
=2. Assim, o valor das
derivadas parciais em g
(0)
so:
0416 , 105 )) 2 ( 03797 , 0 exp( ) 2 ( 6646 , 56 ) exp(
92687 , 0 )) 2 ( 03797 , 0 exp( ) exp(
1
) 0 (
1 1
) 0 (
0
) 0 (
11
1
) 0 (
1
) 0 (
10
= = = =
= = =
X g X g D
X g D
0.9268718 105.04164
0.8270832 234.33169
0.7666001 304.07361
0.6840666 387.6236
0.5876757 466.20573
0.4860567 523.30196
0.3726111 548.96035
0.3081804 541.35047
0.2750011 529.81623
0.2362511 508.70884
0.1811101 461.81398
0.138839 409.09745
0.1336662 401.42937
0.1024685 348.38014
0.08475 312.15097
D
(0)
=

/*derivadas parciais calculadas em g(0)*/

D0_0=exp(g10*X2);

D1_0=g00*X2#exp(g10*X2);

D0=D0_0||d1_0;
33
Agora, podemos obter as estimativas de mnimos quadrados b
(0)
, fazendo a
regresso de Y
(0)
sobre as 2 variveis X na matriz D
(0)
. Continuando com o
nosso programa no IML do SAS obtemos:
1.893244
-0.001563
b
(0)
=

b0=inv(D0`*D0)*D0`*Y0;

Usando 11.A, obtemos os coeficientes de regresso corrigidos g
(1)
:
(

=
(

+
(

=
+ =
0,03953 -
58,5578

0,03797 -
56,6646

001563 , 0
8932 , 1
(0) (0) (1)
b g g
/* novas estimativas corrigidas */

g0=g00//g10;

g1=g0+b0;
Aqui, chegamos ao final da primeira iterao com:
03953 , 0 5578 , 58
) 1 (
0
= =
(1)
1
g g
A soma de quadrados residual na primeira iterao vale:
34

=
=
n
i
i i
f Y SQE
1
2 ) 1 ( ) 1 (
) (
= 49.46383
f1=g1[1,1]*exp(g1[2,1]*X2);

Y1=Y-f1;

/* soma de quadrados do erro na iteracao 1 */

SQE1=Y1`*Y1;
Observe que houve uma reduo nas somas de quadrados dos resduos.
Continuao do exerccio: Faa as prximas trs iteraes, verifique se foi
encontrado o critrio de convergncia ((SQE
(s)
-SQE
(s-1)
)

<0,0001) e escreva o
modelo.
35
proc iml;
reset print;
Y={54, 50, 45, 37, 35, 25, 20, 16, 18, 13, 8, 11, 8, 4, 6};
X={1 2, 1 5, 1 7, 1 10, 1 14, 1 19, 1 26, 1 31, 1 34, 1 38, 1 45, 1 52, 1 53, 1 60, 1 65};
YT=log(Y);
XLX=X`*X;
XLXinv=inv(xlx);
b=XLXinv*x`*yt;
/* valores iniciais */
g00=56.6646; g10=-0.03797;
X2=X[1:15,2];
f=g00*exp(g10*X2);
Y0=Y-f;
/* soma de quadrados do erro no passo zero */
SQE0=Y0`*Y0;
/* derivadas parciais calculadas em g(0) */
D0_0=exp(g10*X2);
D1_0=g00*X2#exp(g10*X2);
D0=D0_0||d1_0;
b0=inv(D0`*D0)*D0`*Y0;
/* novas estimativas corrigidas - iteracao 1 */
g0=g00//g10;
g1=g0+b0;
f1=g1[1,1]*exp(g1[2,1]*X2);
/* residuos da iteracao 1 */
Y1=Y-f1;
/* soma de quadrados do erro na iteracao 1 */
SQE1=Y1`*Y1;
/*********************fim da iteracao 1 ****************/

36
/* derivadas parciais calculadas em g(1) */

D0_1=exp(g1[2,1]*X2);

D1_1=g1[1,1]*X2#exp(g1[2,1]*X2);

D1=D0_1||d1_1;

/* estimativas corrigidas na iteracao 2 */

b1=inv(D1`*D1)*D1`*Y1;

/* novas estimativas corrigidas - iteracao 2 */

g2=g1+b1;

f2=g2[1,1]*exp(g2[2,1]*X2);

/* residuos da iteracao 2 */

Y2=Y-f2;

/* soma de quadrados do erro na iteracao 2 */

SQE2=Y2`*Y2;

/***********fim da iteracao 2 *******************/

37
/* derivadas parciais calculadas em g(2) */
D0_2=exp(g2[2,1]*X2);
D1_2=g2[1,1]*X2#exp(g2[2,1]*X2);
D2=D0_2||d1_2;
/* estimativas corrigidas na iteracao 3 */
b2=inv(D2`*D2)*D2`*Y2;
g3=g2+b2;
f3=g3[1,1]*exp(g3[2,1]*X2);
/* residuos da iteracao 3 */
Y3=Y-f3;
/* soma de quadrados do erro na iteracao 3 */
SQE3=Y3`*Y3;
/************fim da iteracao 3 */
/* derivadas parciais calculadas em g(3) */
D0_3=exp(g3[2,1]*X2);
D1_3=g3[1,1]*X2#exp(g3[2,1]*X2);
D3=D0_3||d1_3;
/* estimativas corrigidas na iteracao 4 */
b3=inv(D3`*D3)*D3`*Y3;
g4=g3+b3;
f4=g4[1,1]*exp(g4[2,1]*X2);
/* residuos da iteracao 4 */
Y4=Y-f4;
/* soma de quadrados do erro na iteracao 4 */
SQE4=Y4`*Y4;
/************fim da iteracao 4 */

38
Comentrios:
1) A escolha das estimativas iniciais no mtodo de Gauss-Newton muito
importante, pois uma m escolha pode resultar num nmero muito grande de
iteraes at convergir; pode convergir num mnimo local, ou, mesmo, no
convergir. Bons valores iniciais pode levar a um mnimo global, quando existir
vrios mnimos locais.
SQE
b
(0)
b
(1)

39
2) Para o mtodo de Gauss-Newton ou similares, uma boa prtica utilizar um
outro conjunto de valores iniciais e verificar se chega-se ao mesmo resultado.
3) Algumas propriedades vlidas para os modelos lineares, no so para os
modelos no lineares. Por exemplo, a soma dos resduos no necessariamente
igual a zero; a soma dos quadrados do erro mais a soma dos quadrados da
regresso, no necessariamente igual a soma dos quadrados total.
Consequentemente, o coeficiente de determinao pode no ser uma
estatstica descritiva importante para os modelos no lineares.
Inferncia sobre os parmetros na regresso
no linear
Na anlise de regresso no linear com erros normais, os estimadores de
mnimos quadrados ou de mxima verossimilhana, para qualquer tamanho de
amostra, no tem distribuio normal, no so imparciais e no tem varincia
mnima.
As inferncias sobre os parmetros da regresso, no caso no linear,
geralmente so baseadas na teoria das grandes amostras.
40
Esta teoria mostra que os estimadores (de mnimos quadrados ou mxima
verossimilhana) para os modelos de regresso no linear com erros normais, quando
o tamanho da amostra grande, apresentam distribuio aproximadamente normal, so
aproximadamente no tendenciosos, e aproximadamente varincia mnima.
Estimativa de o
2

p n
f Y
p n
Y Y
p n
SQE
QME
i i i i

=

2 2
)) , ( ( )

( g X
g o vetor das estimativas finais dos parmetros; para os modelos de
regresso no linear, o QME no um estimador no tendencioso de o
2
,
porm, o vis pequeno se o tamanho da amostra for grande.
Teoria das grandes amostras
Teorema: para c
i
independentes N(0,o
2
) e o tamanho da amostra n
razoavelmente grande, a distribuio amostral de g aproximadamente normal.
O valor esperado do vetor de mdias aproximadamente:
(13) ) ( g ~ E
41
Uma aproximao da estimativa da matriz de varincia-covarincia dos
coeficientes de regresso dada por:
1 ' 2
) ( ) (

= D D g s QME
D a matriz de derivadas parciais calculada nas estimativas finais, g.
Quando a teoria de grandes amostras aplicvel?
Orientaes:
o processo iterativo converge rapidamente;
calcular algumas medidas: medidas de curvatura de Bates e Watts, medida de
vcio de Box;
estudos de simulao, por exemplo, amostragem Bootstrap verifica se as
distribuies amostrais das estimativas dos parmetros de regresso no linear
so aproximadamente normal, se as varincias das distribuies amostrais so
prximas das varincias para o modelo linearizado, e se o vis em cada
estimativa dos parmetros pequeno.
42
Algumas medidas usadas quando os resultados da teoria das grandes amostras
no se aplica:
Usar outra parametrizao do modelo
Fazer intervalos de confiana Bootstrap
Aumentar o tamanho da amostra
43
Intervalo de confiana para os parmetros
De acordo com o teorema 13, temos:
(14) 1 - p 0,1,2,..., k p n t
g s
g
k
k k
=

) ( ~
) (

Onde t(n-p) a varivel com distribuio t com (n-p) graus de liberdade. De (14)
obtemos:
) ( ) ; 2 / 1 (
k k
g s p n t g o
Onde t(1-o/2;n-p) o (1-o/2)100 percentil da distribuio t com (n-p) graus
de liberdade.
Exemplo: vamos considerar os dados de pacientes com doena grave.
Desejamos estimar
1
com um intervalo de 95% de confiana. Temos:
0359 , 0 0433 , 0
00171 , 0 ) (
03959 , 0
160 , 2 ) 13 ; 975 . 0 (
1
1
1
s s
=
=
=

g s
g
t
44
Conclumos, com aproximadamente 95% de confiana, que
1
est entre -
0,0433 e -0,0359.
Teste de hipteses
0
0 0
:
:
k k a
k k
H
H


=
=
Onde
k0
um valor especfico de
k
. O teste estatstico :
) (
0
*
k
k k
g s
g
t

=
Regra de deciso:
se. - rejeita cc H se - aceita p n t t | Se
0
*
, ), ; 2 / 1 ( | s o
Exemplo: vamos considerar os dados de pacientes com doena grave.
Desejamos testar as hipteses:
54 :
54 :
0
0 0
=
=

a
H
H
45
13 , 3
472 , 1
54 6065 , 58
*
=

= t
O valor p :
007973 , 0 ) 13 , 3 | (| = > t P
Portanto, rejeitamos a hiptese nula.