Professional Documents
Culture Documents
RSM t-1
Modelli di regressione
Supponiamo che un fenomeno sico, o i risultati di un esperimento siano:
descrivibile da una variabile dipendente o risposta y
y dipenda da un insieme di variabili indipendenti o regressori xi
il numero di regressori sia k
Chiameremo modello di regressione la relazione:
y = (x1 ; x2 ; : : : ; xk )
indicheremo la funzione con il termine supercie di riposta.
Normalmente la vera forma della funzione non e nota, viene approssimata con una funzione appropriata,
il piu possibile semplice.
Il modello impiegato (accostato) rappresentera la risposta a meno di un errore:
y = 0 (x1 ; x2 ; : : : ; xk ) + (x1 ; x2 ; : : : ; xk )
Tra i modelli di regressione concentreremo l'attenzione sui modelli lineari del tipo:
y = 0 + 1 x1 + : : : k xk +
Il modello si dice lineare in quanto funzione lineare dei parametri chiamati coecienti di regressione,
indipendentemente dalla forma della supercie di risposta.
Il generico coeciente di regressione i rappresenta il cambiamento della risposta per unita di cambiamento del regressore corrispondente (xi ) quando le altre variabili indipendenti sono tenute costanti.
La stima dei coecienti di regressione che minimizzano l'errore globale commesso (model tting) puo
essere svolta con diverse tecniche.
Il metodo tipicamente utilizzato per la stima dei coecienti di regressione e il metodo dei minimi quadrati.
Si considerino una risposta y caratterizzata da un insieme di k regressori xij (j = 1 : : : k).
L'esperimento per una generico insieme di regressori (osservazione) fornisce una risposta yi
Il modello accostato sara:
yi = 0 +
k
X
j=1
j xij + i
i = 1 ; 2; ; n
L=
n
X
i=1
2i =
n
X
i=1
0
@
yi 0
k
X
j=1
12
j xij A
RSM
RSM t-2
L deve esser minimizzata rispetto 0 ; 1 ; :::k , ossia i ^j risultanti dalla stima ai minimi quadrati (stimatori)
devono soddisfare:
@L
(i = 0 : : : k )
@i ^ ;^ ;:::^k = 0
Si ottengono (k + 1) equazioni:
0
k
X
X
@L
@ yi
=
2
^0
@0 ^ ;^ ;:::^k
i=1
0
X
@L
= 2 @yi ^0
@j ^ ;^ ;:::^k
i=1
0
j=1
k
X
j=1
^j xij A = 0
^j xij A xij = 0 j = 1 k
n^0 + ^1
e
^0
n
X
i=1
xi1 + ^1
n
X
i=1
n
X
^0
n
X
i=1
xij +
k
X
h=1
xi1 + + ^k
i=1
n
X
x2i1 + + ^k
i=1
n^0 +
n
X
k
X
h=1
^j
n
X
i=1
^j
n
X
i=1
xih =
xij xih =
i=1
n
X
i=1
n
X
i=1
xik =
n
X
i=1
xi1 xik =
yi
n
X
i=1
xi1 yi
yi
xij yi
j = 1:::k
si ottiene un totale di p = k + 1 equazioni (una per ogni coeciente della regressione 0 compreso)
dette equazioni normali ai minimi quadrati le cui soluzioni sono gli stimatori ai minimi quadrati dei
coecienti di regressione ^0 ; ^1 ; ; ^k .
Risulta piu agile la risoluzione della stima ai minimi quadrati esprimendo il modello in forma matriciale,
in tal modo si ottiene:
Y = X +
con:
2
2
y1 3
1 x11 x12 x1k 3
6 y2 7
6 1 x21 x22 x2k 7
7
6
Y=6
X
=
6 .
7
6 . 7;
..
..
.. 7
4 .. 5
4 ..
.
.
. 5
yn
1 xn1 xn2 xnk
2
6
1
2
7
=6
6 . 7;
4 .. 5
k
1
2
3
7
7
=6
6 . 7
4 .. 5
n
ove Y e il vettore (n 1) delle osservazioni, X e la matrice (n p) contenente le variabili indipendenti,
e il vettore (p 1) dei coecienti di regressione e e il vettore (n 1) contenente i termini inerenti
L=
n
X
i=1
2i = 0
= ( Y X ) 0 ( Y X )
= Y0 Y Y0 X 0 X0 Y + 0 X0 X
= Y0 Y 2 0 X0 Y + 0 X0 X
RSM
RSM t-3
@L = 2X0 Y + 2X0 X^ = 0
@ ^
si ottiene:
X0 X^ = X0 Y
che rappresenta la forma matriciale compatta delle equazioni normali ai minimi quadrati.
Scrivendo in dettaglio:
2
6
X0 X = 6
6
4
Pn
Pn
i=1 xik
Pn
Pn i=1
xi1
2
i=1 xi1
i=1 xi1
..
.
xi2
i=1 xi1 xi2
Pn
Pin=1
..
.
Pn
..
.
Pn
Pn
Pn i=1
xik
i=1 xi1 xik
Pn
..
.
i=1 xik
3
7
7
7
5
^y = X^
in notazione scalare:
y^i = ^0 +
k
X
j=1
i = 1 ; 2; ; n
^j xij
La dierenza tra le osservazioni reali yi ed i reciproci valori stimati y^i viene denominata residuo: ei =
yi y^i . Il vettore (n 1) dei residui e:
e = y ^y
SSE =
Ponendo: e = y
^y = y
i=1
(yi
y^i ) =
2
n
X
i=1
(e2i ) = e0 e
essendo X0 X^ = X0 y, si ottiene:
La relazione ha n
n
X
= y0 y
y0 X^
X0 ^0 y + ^0 X0 X^
SSE = y0 y ^X0 y
Importante, a valle della determinazione del modello di regressione, e la valutazione della bonta del
modello scelto: occorre vericare che il modello si adatti correttamente ai dati a cui verra applicato,
ossia dimostri un certo grado di adabilita.
I Coecienti di determinazione
Si consideri la somma dei quadrati totali SST , e scomponibile in due contributi:
SSR : somma dei quadrati dovuta allo specico modello di regressione scelto,
SSE : somma dei quadrati dovuta all'errore (ai residui)
RSM
RSM t-4
SSE =
Ponendo: e = y
^y = y
n
X
i=1
( yi
y^i ) =
2
n
X
i=1
e2i = e0 e
= y0 y
essendo X0 X^ = X0 y, si ottiene:
y0 X^
X0 ^0 y + ^0 X0 X^
SSE = y0 y ^X0 y
SST =
n
X
i=1
yi
Pn
i=1 yi )
= y0 y
Pn
i=1 yi )
Pn
Manipolando l'espressione della somma dei quadrati dei residui sommando e sottraendo il termine ( i=1n yi ) ,
tenendo presente che: SSE = SST SSR ; la somma dei quadrati dovuta alla regressione e esprimibile
come:
P
( ni=1 yi )2
0
0
^
SSR = X y
n
Al ne di vericare l'adeguatezza dei termini inseriti nel modello, una prima valutazione di massima puo
essere compiuta tramite l'utilizzo del coeciente di determinazione multiplo R2 :
SSR = 1
R2 = SS
T
SSE
SST
Il coeciente R2 fornisce una misura della stima generale dell'adeguatezza del modello di regressione,
fornisce un'indicazione di massima di quanto della variabilita totale dei dati viene spiegata dal modello
creato: un fattore R2 del valore di 0.8 indica come il modello `spieghi' l'ottanta percento della variabilita
dei dati; valori del coeciente R2 > 0; 8 sono indici di una buona adabilita del modello.
Tuttavia, l'aggiunta di nuovi termini al modello porta sempre ad un aumento di R2 (senza correlazione
col fatto che la variabile aggiunta sia o meno signicativa), da questa osservazione discendono dubbi
sulla completa adabilita del coeciente di determinazione multiplo. L'aggiunta di ulteriori parametri
al modello, infatti, non sempre si traduce in una accresciuta sensibilita del modello, si corrono due rischi
principalmente: in primis l'inserimento di termini che non arrecano conoscenze aggiuntive a quelle gia
possedute ed hanno come unica conseguenza l'appesantimento del modello, non di meno e un rischio
reale la possibilita di integrare nella regressione errori, cosa che inquinerebbe i risultati ottenuti dal
modello creato (condizione denominata overt).
Si preferisce quindi utilizzare la statistica R2 aggiustata (R2 adjusted):
SSE =(n p) = 1 n 1 (1 R2 )
2
Radj
=1
SST =(n 1)
n p
2
Radj
che non aumenta con l'aggiunta di nuove variabili al modello, anzi, se al modello si sommano termini
2
super
ui Radj
molto spesso decresce, compensando l'aggiunta di nuovi termini con il diminuire dei gradi
2
di liberta. Nel caso che R2 e Radj
dieriscano radicalmente, si hanno elevate probabilita che nel modello
siano stati inclusi termini non signicativi.
RSM
RSM t-5
che viene associata all'errore compiuto nella regressione. Tale relazione e formalizzata tramite le somme
dei quadrati come precedentemente visto:
Dalle due `identita notevoli' sopra esposte derivano un insieme di statistiche, che ci si appresta ad introdurre
dei seguenti paragra, nalizzate a guidare all'identicazione dell'adabilita della regressione applicata
ad un insieme di dati; i risultati delle analisi condotte mediante dali statistiche vengono solitamente
riassunte in una tabella di analisi della varianza. Tale tabella pone in ingresso solitamente:
le componenti della variabilita del sistema,
le somme dei quadrati,
i GdL associati alle somme dei quadrati,
i quadrati medi,
test sulla signicativita dei regressori.
Si e spesso interessati alla verica di ipotesi su singoli coecienti di regressione al ne di vericare se il
modello possa essere piu ecace con l'inclusione di variabili aggiuntive o con la soppressione di termini
gia presenti nel modello ma inecaci.
L'aggiunta di una variabile al modello porta
incremento della somma dei quadrati della regressione SSR
diminuzione della somma dei quadrati dovuti ai residui SSE
se il regressore e inin
uente porta ad un aumento di SSE
Le ipotesi per valutare la signicativita di un singolo coeciente di regressione j sono:
H0 : j = 0
H1 : j 6= 0
Se l'ipotesi H0 risulta valida allora il regressore associato xj puo essere eliso dal modello. La statistica
test per la valutazione di questa ipotesi e il test t :
^
t0 = p 2j
^ Cjj
ove Cjj e l'elemento sulla diagonale di (X0 X) 1 corrispondente a ^j e ^ 2 (stimatore della varianza) e dato
da:
^ 2 = SSE
n p
Si riuta H0 se jt0 j > t=2;n p , ossia: il regressore associato al coeciente su cui si esegue il test risulta
essere signicativo per il modello.
RSM
RSM t-6
Generalizzando, e possibile vericare se un modello del tipo y = 0 + ki=1 i xi con l'aggiunta dei
termini i accresce la bonta del modello y = 0 , ovvero anche se solo una parte di tali regressori ha
eetti beneci sulla regressione.
P
Per vericare l'importanza dei termini inclusi nel modello si utilizzera un rapporto tra varianze.
L'operatore varianza restituisce un valore non negativo per denizione, essendo un valore elevato al
quadrato, cio fa si che la distribuzione della varianza non sia del tipo normale bens del tipo 2 .
Il test che consente di vericare la dipendenza della regressione da un sottoinsieme di regressori, congurandosi anch'esso come il rapporto di due varianze, ossia come il rapporto di due distribuzioni 2 , avra
una forma del tipo:
2
1 =k1
22 =k2
dove k1 k2 siano i gradi di liberta relativi a 21 e 22 . Il rapporto tra due distribuzioni 2 denisce un nuovo
tipo di distribuzione: Distribuzione-F.
Si consideri il modello con k regressori:
y = X +
ove le dimensioni delle matrici sono: y(n 1), X(n p), (p 1), (n 1).
L'intento e di vericare se il sottoinsieme x1 ; x2 ; :::; xr (r < k) e signicativo per il modello di regressione.
A tal ne si scompone il vettore colonna dei coecienti nel seguente modo:
1
= 2
ove le dimensioni dei due vettori sono 1 (r 1) e 2 [(p r) 1].
H0 : 1 = 0
H1 : 1 6= 0
E possibile a questo punto riscrivere il modello mettendo in evidenza le due componenti del vettore :
y = X1 1 + X2 2 +
n p
n p
n p
RSM
RSM t-7
1 = 0:
y = X2 2 +
Attraverso il metodo dei minimi quadrati e ottenibile lo stimatore ^2 = (X02 X2 ) 1 X02 y, e da questo il
relativo:
SSR (2 ) = ^0 2 X02 y
a cui sono associati p r gradi di liberta. Si hanno ora tutti gli elementi per ricavare la somma dei
quadrati della regressione dovuti ai soli coecienti di regressione appartenenti a 1 (non compresi nel
modello ridotto):
SSR ( 1 j 2 ) = SSR ( ) SSR (2 )
La somma dei quadrati determinata e la somma dei quadrati aggiuntiva dovuta a 1 , con r gradi di liberta.
SSR ( 1 j 2 ) e indipendente da MSE e l'ipotesi H0 puo esser valutata tramite il test F parziale:
F0 = SSR ( 1 j 2 )=r
MSE
Se F0 > F;r;n p H0 viene riutata, ossia: almeno uno dei coecienti di regressione 1 e diverso da zero
e di conseguenza almeno uno dei regressori x1 ; x2 ; :::; xr appartenenti a X1 e signicativo per il modello
di regressione.
Consente di vericare la presenza di relazioni lineari fra la variabile di risposta Y ed un sottoinsieme di
variabili indipendenti (regressori) x1 ; x2 ; :::; xk .
Si formulano due ipotesi:
H0 : 1 = 2 = = k = 0
H1 : j 6= 0 per almeno un j
Nel caso H0 sia vericata allora nessuno dei regressori x1 ; x2 ; :::; xk contribuisce signicativamente al modello, viceversa, nel caso risulti vericata H1 almeno una delle variabili indipendenti ha un eetto determinante
sulla variabile di risposta Y .
La procedura per la verica dell'ipotesi H0 si eettua tramite il test-F, il calcolo si compie:
R =k
= MS2R = MSR
F0 = SS SS
=
(
n
p
)
^
MSE
E
ove con MSR e MSE si sono indicati i quadrati medi della regressione e dei residui deniti a partire dalla
somma dei relativi quadrati divisi per i propri gradi di liberta (numero degli elementi indipendenti presenti
in ogni somma dei quadrati). Bisogna quindi denire un termine di confronto per stimare la validita dell'ipotesi compiuta, il parametro di confronto dipende dall'adabilita con cui si intende accettare o confutare
l'ipotesi H0 . Il parametro che fornisce l'adabilita cercata e il termine , ponendo che l'attendibilita
ricercata sia denita come il complemento a 1 di si puo dire come: ricercando una attendibilita del
test pari al 90% (ossia 0,9) il valore di da porre in considerazione sia 0,10. Scelto , si riuta H0 se:
F0 > F;k;n p , ossia: la variabile di risposta Y mostra una dipendenza lineare rispetto ad un sottoinsieme
di regressori. I risultati possono essere ecacemente riassunti in una tabella di analisi della varianza come
la seguente:
Origine della Somma dei
Gradi di
Quadrati
Variabilita
Quadrati
Liberta
Medi
F0
Regressione
SSR
k
MSR MSR =MSE
Errori (Residui)
SSE
n (k + 1) = n p MSE
Totale
SST
n 1