Sistemi sovradeterminati

Un sistema lineare Ax = b sovradeterminato quando ci sono pi` e u equazioni che incognite. Per il Teorema di Rouch`-Capelli ammette soluzione se e solo e rango[A] = rango[A| b] Una soluzione esatta, per la quale r = b Ax = 0 esiste solo se il vettore b appartiene allo spazio generato dalle colonne di A. Se questo non succede, si considera un problema pi` generale : u determinare il vettore x in modo che il residuo r = b Ax si minimo Def. Dicesi soluzione ai minimi quadrati del sistema sovradeterminato Ax = b ogni vettore x il cui residuo r := b Ax abbia norma euclidea minima.

Teorema
1) Il sistema sovradeterminato Ax = b ammette almeno una soluzione ai minimi quadrati x0 tale che rxo := b Ax0
2

= minx b Ax

2) Ogni vettore x1 che minimizza la norma euclidea del residuo ` e anche soluzione delle equazioni normali At Ax = At b e viceversa. 3) Se y ` unaltra soluzione il residuo lo stesso, dato che si ha e e Ax1 = Ay . 4) Il residuo r = b Ax0 ` univocamente determinato e soddisfa e alle equazioni At rx = 0 il vettore residuo ortogonale alle colonne della matrice A. e

Corollario

Se le colonne di A sono linearmente indipendenti, la matrice At A ` e non singolare e denita positiva, e le equazioni normali ammettono ununica soluzione. N.B. Una matrice B e denita positiva se x t B x > 0 x = 0 La matrice B := At A lo di sicuro, dato che e x t B x = x t At Ax = (Ax)t Ax = Ax
2 2

> 0 x.

Esempio
Il sistema sovradeterminato Ax = b (m = 6, n = 3) con 1 1 0 0 2 0 1 0 3 0 0 1 , b = dato che A= 1 1 0 1 2 0 1 1 1 1 0 1 1 0 0 |1 0 1 0 |2 0 0 1 |3 = 4 non ammette soluzione. rango[A| b] = 1 0 |1 1 0 1 1 |2 1 0 1 |1

Le equazioni normali At Ax 3 1 1 3 1 1

= At b sono 1 x1 1 x2 = 1 . 1 3 x3 6

Risolvendole con il metodo di Gauss si ottiene 0.25 5 0.25 4 0 7 x = , r = b Ax = 0.5 4 0.75 3 0.75

Il residuo ortogonale a tutte le colonne di A, e 0.25 0.25 1 0 0 1 0 1 0 t 0 1 0 1 1 0 A r= 0.5 0 0 1 0 1 1 0.75 0.75

0 = 0 0

Se le colonne di A sono quasi dipendenti ed A risulta mal condizionata, il condizionamento di At A sar` ancora peggiore. a

Esempio 1a
Dato il sistema sovradeterminato 1 1 1 0 0 0 0 0 0 Ax = b, con 1 x1 0 x2 = 0 x3 0 m = 4, n = 3 .

Le equazioni normali At Ax = At b sono 1 1+ 2 1 1 x1 2 1 x2 = 1 . 1+ 1 x3 1 1 1 1+ 2 Se lavoriamo con 8 cifre decimali ed = 104 , si ha 1 + 2 = 1.00000001 che viene arrotondato ad 1, quindi At A risulta singolare (ha addirittura rango 1).

In caso di cattivo condizionamento si pu ricorrere alla o decomposizione QR della matrice A: A=Q R 0 , Q t Q = In , R m m triangolare alta

Dato che il prodotto per una matrice ortogonale non modica la norma dei vettori, bAx
2

= Q t (bAx) b1 b2

= Qtb Qt Q b1 b2
2

R 0 R x 0

x
2

= Qtb

R 0

Posto Q t b =

, si ha =

b1 Rx = b1 Rx b2 2 minima quando b1 Rx = 0.

+ b2

quindi la norma ` e

Proposizione
Il vettore x ` soluzione del problema dei minimi quadratiAx = b se e e solo se ` soluzione del sistema e Rx = b1 con A = Q R 0 Qtb = b1 b2 .

k(R) = k(A) ed R ` non singolare se e solo se le colonne di A e sono linearmente indipendenti. Se R non singolare la soluzione e del problema dei minimi quadrati ` unica. e
Per assurdo. Se le colonne di A sono dipendenti z = 0 tale che Az = 0 Q t Az = 0 e quindi Rz = 0 R singolare. e

Se le colonne di A e quindi di R, sono dipendenti ci possono essere pi` vettori x che minimizzano b Ax 2 , ma la quantita u minx b Ax 2 ` unica. e

Esempio 2
Sia dato il sistema sovradeterminato Ax = b con 1 1 0 0 2 0 1 0 0 0 1 b= 3 A= 1 1 0 1 2 0 1 1 1 0 1 1 ammette
0.5774 0.8165 1.4142 0.48787 0.0235 0.5113 0.1786 0.1551 0.6664

rank[A] = 3 e rank[A|b] = 4, quindi il sistema non soluzione. 1.7321 0.5774 R 0 1.6330 Essendo A = Q con R 0 0 0
Q= 0.5774 0 0 0.5774 0 0.5774 0.2041 0.6124 0 0.4082 0.6124 0.2041 0.3536 0.3536 0.7071 0.0000 0.3536 0.3536 0.5113 0.4878 0.0235 0.6664 0.1786 0.1551

0.0235 0.5113 0.4878 0.1551 0.6664 0.1786

una soluzione ai minimi quadrati si ottiene risolvendo il sistema Rx = Q t b 1.7321 0.5774 0.5774 x1 0.5774 0 1.6330 0.8165 x2 = 0.4082 0 0 1.4142 x3 4.2426 La soluzione ` e 1.2500 x = 1.7500 . 3.0000

Esempio 1b
Dato il sistema Ax = b 1 0 0 con 1 1 1 x 0 0 1 0 x2 = 0 0 x3 0 0

ed = 108 , procedendo con il metodo della decomposizione ortogonale si ottiene : 1 0.70711 108 0.40825 108 0.57735 108 0.57735 Q = 0 0.70711 108 0.40825 108 0 0 0.81650 0.57735 1 1 1 R = 0 0.14142 107 0.70711 108 0 0 0.12247 108

1 Q t b = b1 = 0.70711 0.40825

 0.33333 La soluzione del sistema Rx = b1 ` x = 0.33333 e 0.33333

1 3+
2

La soluzione teorica ` e

1 3+ 1 3+

Con la decomposizione QR il problema ` risolubile, mentre le e equazioni normali At Ax = At b hanno una matrice dei coecienti singolare entro la precisione di macchina.