Modello lineare con rumore additivo: stima

dei minimi quadrati.

Nella maggior parte dei casi un modello lineare risulta essere sufficiente per rappresentare in
modo significativo il legame tra la grandezza di misura y e le variabili indipendenti x1 , x2 , , xm
yi 0 1 x1i 2 x2i m xmi wi ,
m

0 j x ji wi , i 1, , N

(1.1)

j 1

dove wi una sequenza aleatoria a valor medio nullo che rappresenta il disturbo connesso al
rilevamento sperimentale delle misure

yi della

grandezza di misura. I parametri incogniti del

modello che devono essere determinati sono lordine del modello m e le m 1 costanti 0 , , m .
Nei riguardi del legame tra la grandezza di misura e le variabili indipendenti , tali costanti hanno un
significato preciso. La costante 0 loffset del modello, e rappresenta il valore di y quando tutte
le variabili indipendenti hanno valore nullo; sebbene questo possa sembrare un controsenso difatto
pi frequente di quanto non si pensi in quanto il pi delle volte il modello lineare una
rappresentazione del comportamento del processo allo studio nellintorno di un punto di lavoro
y f x1 , , xm che corrisponde a determinati valori costanti y , x1 , , xm della variabile di
misura e di quelle indipendenti, mentre i valori x1i , x2i , , xmi sono le variazioni di ampiezza
opportuna rispetto ai valori di equilibrio x1 , , xm . Inoltre 0
utile per intercettare
eventualmente un valor medio non nullo del disturbo di misura. La costante generica j rappresenta
la sensibilit della variabile di misura rispetto alle variazioni della j -esima variabile indipendente
x j quando le altre sono tenute costanti; infatti risulta

y
,
x j

j 1, , m

Il modello (1.1) molto usato in vari campi, per cui i suoi elementi sono suscettibili di varie
denominazioni, di cui si riportano quelle pi usate: luscita viene chiamata genericamente dato; le
variabili indipendenti vengono dette variabili di regressione, regressori, predittori, scores; i
parametri possono chiamarsi coefficienti di correlazione parziale, oppure loads. Il modello quindi
pu trovarsi sotto il nome di modello di regressione lineare, modello di regressione multipla o
multivariata.
Assegnato ora un set di N misure sperimentali yi della grandezza di misura e delle

variabili indipendenti x ji vogliamo stimare i parametri del modello; a tale scopo, sulla base di
opportune informazioni a disposizione circa il processo allo studio, si scelga un valore dellordine
m del modello, tale scelta sar poi perfezionata in sede di validazione del modello identificato. I
parametri 0 , , m possono essere determinati minimizzando la seguente funzione di costo

2
m

1 N
(1.2)
yi 0 j x ji N yi yi

i 1
j
i
1
1

T
per cui si vuole trovare il valore 0 m che minimizzi lo scarto quadratico medio tra le
misure sperimentali yi ed i valori delluscita riprodotti dal modello identificato yi .

1
f 0 , , m
N

Per il problema dei minimi quadrati sar dimostrato pi avanti la sussistenza di condizioni
necessarie e sufficienti di minimo globale

i 1

j 1

2
f

N
0

yi 0 j x ji 0

2
f

N
k

yi
i 1

0 j x ji xki 0 ,
j 1

(1.3)

k 1, , m

Il sistema (1.3) di m 1 equazioni lineari in m 1 incognite pu essere utilmente risolto

introducendo le seguenti grandezze campionarie
N

1
N

yi ,

2y

1
N

yi y

2yxk

i 1
N

1
N

i 1

yi y

x ki
i 1

, x2k

i 1

1
N

xk

1
N

xki xk
N

i 1

xki xk , x2h xk

1
N

xhi xh xki xk
N

i 1

Le (1.3) possono quindi essere riscritte nel seguente modo

m

y 0 j x j
j 1

1
N

yi x k i
i 1

0 xk

N m

j x ji xki ,

(1.4)
k 1, , m

i 1 j 1

Ora, per il generico k , si moltiplichi la prima delle (1.4) per xk e la si sottragga dalla seconda
delle (1.4); si ottiene

1
N

m
1
y
x

i k i y xk j N
i 1
j 1

Con facili calcoli si pu vedere che

i 1

x ji xki x j xk ,

k 1, , m

(1.5)

1
N

yi x k i y x k
i 1

1
N

yi y xki xk 2yxk
N

i 1

(1.6)
1
N

x ji xki x j xk

i 1

1
N

x ji x j xki xk x2 j xk
N

i 1

e sostituendo nelle (1.5) si ottiene

m

y 0 j x j
j 1

2
yxk

j x2 j xk
j 1

(1.7)
, k 1, , m

Il sistema (1.7) fornisce la stessa soluzione del sistema (1.4) da un punto di vista teorico; tuttavia da
un punto di vista numerico, mentre i coefficienti del sistema (1.4) sono dati dai campioni misurati
della variabile di misura e di quelle indipendenti, valori quindi affetti da rumore di misura, i
coefficienti del sistema (1.7) sono dati dalle medie campionarie dei suddetti campioni, in cui la
presenza del rumore drasticamente ridotta proprio dalloperazione di media campionaria; dal
sistema (1.7) otterremo quindi una stima dei parametri del modello numericamente pi affidabile.
Esaminiamo ora alcuni modelli tipici.

Retta dei minimi quadrati.

In questo caso si ha m 1 ; dalla seconda delle (1.7) si ottiene
subito

2yx1
x21

che sostituita nella prima fornisce

0 y 1 x1

Piano dei minimi quadrati.

Questa volta abbiamo m 2 . Dalla seconda delle (1.7)
si ottiene il seguente sistema
2yx x2
x21x2
1
1

2
2
2

yx x x
2 2 1 x2 2

da cui si ottiene

 2yx1 x22 x21x2 2yx2

x21 x22 x21x2

x21 2yx2 x22 x1 2yx1

x21 x22 x21 x2

e quindi dalla prima 0 y 1 x1 2 x2 .

Una volta identificato il modello, dobbiamo fare tutta una serie di verifiche atte a validare la
capacit del modello di descrivere adeguatamente il legame tra le variabili di interesse. Uno dei test
m

pi usati quello del R 2 : esso consiste nel valutare in che percentuale i dati yi 0 j x ji
j 1

riprodotti dal modello identificato catturino la variabilit dei dati sperimentali

yi . A tale scopo

esprimiamo la varianza dei dati nel seguente modo

1

N
2
y

yi y
N

i 1

yi yi
i 1

yi y
N

(1.8)

i 1

Il primo termine a destra viene detto varianza residua, mentre il secondo termine a destra viene
detto varianza spiegata (dal modello sintende). Il modello identificato tanto migliore quanto pi
la varianza spiegata eguaglia la varianza totale, cio quanto pi

R2

yi y

i 1
N

yi y

i 1

prossimo ad uno. Se questo non dovesse succedere si deve aumentare lordine del modello; tale
scelta fa certamente diminuire il valore della varianza residua in quanto questa costituisce proprio il
valore allottimo della funzione di costo dei minimi quadrati. Tuttavia si pu aumentare lordine
m del modello fino a che la diminuzione della varianza residua significativo.
Come si vede dalla figura, aumentare lordine da m1 a
m2 produce una forte diminuzione della varianza
residua; aumentare ancora lordine fino a m3 o anche
oltre non produrrebbe diminuzioni apprezzabili del
residuo; a questo punto se il valore di R 2 non dovesse
risultare prossimo a 1, si dovrebbe ritenere che il
modello lineare non in grado di rappresentare
adeguatamente il legame tra le variabili di ingresso e di
uscita.
Per la scelta della complessit del modello esistono altri
criteri che tengono anche conto della numerosit del

campione di dati N . Uno dei pi usati il cosiddetto

criterio di Akaike che consiste nello scegliere il valore di
m che rende minima la seguente funzione

m 1
ln f
N
Questo, dato che m assume solo valori interi positivi,
viene fatto semplicemente calcolando la funzione c m
c m 2

per valori crescenti dellordine m del modello: allinizio

avremo un decremento della funzione allaumentare di
m fino a raggiungere un punto minimo in corrispondenza
ad un valore m0 , per poi riaumentare man mano che il valore di m si avvicina al numero di dati
disponibili N (numero dei parametri confrontabile con il numero dei punti di misura). Il valore
m0 da ritenersi il miglior compromesso tra diminuzione della varianza residua ottenibile e
complessit del modello. Di nuovo, se allaumentare del numero dei parametri del modello non si
dovesse raggiungere il minimo della funzione c m questo sarebbe indice che il modello lineare
non rappresenta adeguatamente i dati.

Minimi quadrati pesati.

Riprendendo in esame la funzione di costo (1.2) si vede che in essa tutti gli scarti contano
allo stesso modo; questo potrebbe determinare una polarizzazione del procedimento di stima da
parte delle misure in valore assoluto pi grandi, che potrebbero dare luogo a scarti pi grandi. Pu
quindi essere opportuno moltiplicare ogni scarto per un peso in modo da equalizzarne lampiezza
1
f
N

i 1

pi2

yi

0 j x ji
j 1

(1.9)

Ad esempio, se fossero note le varianze i2 degli errori di misura wi , si pu scegliere pi2 1 / i2 ;

in questo modo gli scarti grandi dovuti ad una maggiore imprecisione della misura vedrebbero
ridotta la loro influenza nella sommatoria in ragione della varianza del rumore di misura. Unaltra
scelta pu essere pi2 1 / yi2 quando si hanno misure effettuate su scale differenti ed il fatto di avere
scarti pi grandi significativamente di altri dipende quindi dal fatto che vengono misurati valori pi
grandi delluscita.
Per prevenire qualsiasi problema di non equalizzazione degli scarti buona norma effettuare
una standardizzazione dei dati yi , x j i , j 1, , m , in modo che le nuove sequenze delle

variabili indipendenti j i , j 1, , m e della grandezza di misura i abbiano valor medio nullo

e varianza unitaria

ji

yi yi

yi

e considerare la seguente funzione di costo

ji

x ji x j

xj

(1.10)

1

N

i j ji
i 1
j 1

(1.11)

dove ovviamente non compare il termine di offset dato che tutte le variabili sono a valor medio
nullo.
I parametri 1 , , m che si ottengono dalla minimizzazione della (1.11), dove gli scarti si
riferiscono a variabili tutte con la stessa scala di variazione, sono legati a quelli del modello
originale 0 ,1 , , m da semplici relazioni. Infatti tenendo conto che
xj x
m
m
j
yi y y i y y j j y y j i
i
xj
j 1
j 1

m
m
y j
x j y j x ji
y
j 1

xj

j 1

xj

0 j x x j
j 1

si ottiene

y
, j 1, , m ,
xj j

0 y

j 1 x j

j 1

j x j y j x j

(1.12)