Método de los Mı́nimos Cuadrados Recursivos

Teodoro Alamoa∗
Ingenierı́a de Control
Tercer Curso GITI
Escuela Superior de Ingenieros. Sevilla.

1 Formulación del problema

Supongamos que los escalares yi , i = 0, 1, . . . representan la salida (muestreada)
de un sistema dinámico. Asumamos asimismo que el valor de la salida yi puede
ser aproximado por una expresión del tipo
yi ≈ mi θ, i = 0, 1, . . . ,
donde mi ∈ IR1×nm es un vector fila denominado regresor que está constituido
por valores pasados de las entradas y salidas del sistema. Por otro lado, θ es un
vector columna donde se concentran los distintos parámetros que determinan la
relación entre las entradas y salidas del sistema. Dentro de las entrada podemos
asumir las acciones de control y las perturbaciones medibles.
Como ejemplo, supóngase un sistema con salida y y una entrada u y una
relación entre la salida y entrada dada por la siguiente ecuación en diferencias:

yi = a1 yi−1 + b1 ui−1 + b2 ui−2 + vi .

El escalar vi aglutina los errores en la medida, errores de modelado, etc. En
este caso, el regresor para un determinado instante de muestreo i es
[ ]
mi = yi−1 ui−1 ui−2 .
El término vi no se introduce en el regresor puesto que es un término de error
que no es conocido a priori. Por otro lado, el vector paramétrico θ serı́a
 
a1
θ =  b1  .
b2
∗a Departamento de Ingenierı́a de Sistemas y Automática, Universidad de Sevilla, Escuela

Superior de Ingenieros, Camino de los Descubrimientos s/n, 41092 Sevilla. Spain. e-mail:
talamo@us.es
El problema de identificación paramétrica consiste en estimar el vector paramétrico
θ de la observación de las salidas yi y sus respectivos regresores mi . Nótese que
no siempre es posible construir el regresor. Por ejemplo, si se disponen sólo de
datos a partir de i = 0 en adelante, no se podrı́a construir el regresor m0 puesto
que éste depende de los valores pasados y−1 , u−1 y u−2 [ . El primer regresor
] que
podrı́a ser construido es m2 , que vendrı́a dado por y1 u1 u0 . Por este
motivo, es usual que se asuma que el primer par salida regresor disponible es el
(yn , mn ), donde n suele ser mayor cero.
El problema de identificación es especialmente interesante en el contexto de
sistemas variantes con el tiempo. En este caso los parámetros que definen la
relación entrada-salida cambian de una forma más o menos suave con el tiempo.
En este contexto se denota como θk la estimación del vector paramétrico en el
instante de muestreo k. En los mı́nimos cuadrados se obtiene θk de forma que
se minimize de forma ponderada el error cuadrático. Es decir, se minimiza el
funcional
∑k
Jk (θ) = λk−i (yi − mi θ)2 .
i=n
El escalar λ ∈ (0, 1] se denomina factor de olvido. Si se hace igual a la unidad
entonces todos los errores cometidos afectan de igual forma. En caso de que λ
sea estrictamente menor que uno, los errores recientes (muestras próximas a k)
tienen más relevancia que los lejanos en el tiempo. De esta forma se permite
que la estimación de los parámetros pueda capturar las variaciones temporales
de los mismos. La adecuada elección del valor de λ es crı́tica para la obtención
de resultados satisfactorios. Si definimos
 
    λk−n
yn mn  
 yn+1   mn+1   λk−n−1 
     .. 
Yk =  .  , Mk =  ..  , Wk =  . ,
 ..   .   
 λ 
yk mk
1
Se obtiene que el ı́ndice a minimizar viene dado por
Jk (θ) = (Yk − Mk θ)⊤ Wk (Yk − Mk θ).
Denotemos θk el valor que minimiza el funcional Jk (θ). Para obtener el valor
óptimo de θk analizamos el funcional para una perturbación θk + ∆θ respecto
del óptimo:

Jk (θk + ∆θ) = (Yk − Mk (θk + ∆θ))⊤ Wk (Yk − Mk (θk + ∆θ))

= (Yk − Mk θk )⊤ Wk (Yk − Mk θk ) + ∆⊤ θMk⊤ Wk Mk ∆θk
−(Yk − Mk θk )⊤ Wk Mk ∆θ − ∆θ⊤ Mk⊤ Wk (Yk − Mk θk )
= Jk (θk ) + ∆θ⊤ Mk⊤ Wk Mk ∆θk − 2∆θ⊤ Mk⊤ Wk (Yk − Mk θk ).
Supongamos ahora que elegimos θk tal que se eliminen los términos lineales
respecto de ∆θ (esto es equivalente a hacer cero el gradiente respecto de θk ):

Mk⊤ Wk (Yk − Mk θk ) = 0
De aquı́ inferimos que Mk⊤ Wk Yk = Mk⊤ Wk Mk θk o equivalentemente:
θk = (Mk⊤ Wk Mk )−1 Mk⊤ Wk Yk . (1)
Con esta elección resulta que
Jk (θk + ∆θ) = Jk (θk ) + ∆θMk⊤ Wk Mk ∆θk ≥ Jk (θk ), ∀∆θ.
Esta última ecuación garantiza que la elección θk = (Mk⊤ Wk Mk )−1 Mk⊤ Wk Yk es
óptima en el sentido de los mı́nimos cuadrados ponderados.

2 Formulación Recursiva
En esta sección se mostrará cómo obtener el valor de θk en el instante de
muestreo k del valor del vector paramétrico θk−1 obtenido en el periodo de
muestreo anterior. Definamos, dado k, la matriz
( )−1
∑
k
Pk = k−i
λ m⊤
i mi . (2)
i=n
Esta matriz juega un papel muy relevante no sólo en la obtención de θk sino
también en la caracterización probabilı́stica de las estimaciones paramétricas
obtenidas. Nótese que Pk es una matriz simétrica puesto que está definida
como la inversa de una matriz simétrica. Como se muestra a continuación, es
posible obtener Pk de forma recursiva utilizando para ello Pk−1 . La siguiente
expresión proporciona el valor de Pk−1 en la muestra k − 1:
(k−1 )−1
∑
k−1−i ⊤
Pk−1 = λ mi mi .
i=n

Por tanto,
∑
k
Pk−1 = λk−i m⊤
i mi
i=n
∑
k−1
= m⊤
k mk + λk−i m⊤
i mi
i=1
∑
k−1
= m⊤
k mk + λ λk−1−i m⊤
i mi
i=1
−1
= m⊤
k mk + λPk−1 .
De esta forma hemos inferido la relación que relaciona Pk con Pk−1 :
( )
−1 −1
Pk = m⊤
k mk + λPk−1 . (3)

El siguiente lema permite obtener una relación algebraica entre Pk y Pk−1

que evita realizar la inversa de una matriz. El lema que se presenta aquı́ es
un caso particular de un resultado más genérico denominado en la literatura
especializada “lema de inversión”.

Lema 1 Supongamos que la matriz simétrica P es invertible. Entonces, dado

el escalar λ > 0 y el vector fila m se tiene que:
( )
( ⊤ )−1 1 (mP )⊤ (mP )
m m + λP −1 = P− .
λ λ + mP m⊤
Demostración:
De la definición de inversa de una matriz inferimos que para demostrar el
lema basta con probar la siguiente igualdad:
( ( ))
( ⊤ −1
) 1 (mP )⊤ (mP )
m m + λP P− = I.
λ λ + mP m⊤
En efecto,

( ( ))
( ⊤ ) 1 (mP )⊤ (mP )
Γ = m m + λP −1 P−
λ λ + mP m⊤
1 ⊤ m⊤ (mP m⊤ )(mP ) λm⊤ (mP )
= m (mP ) + I − −
λ λ(λ + mP m⊤ ) λ(λ + mP m⊤ )
( )
1 mP m⊤ λ
= I + m⊤ (mP ) 1 − −
λ λ + mP m⊤ λ + mP m⊤
( )
1 λ + mP m⊤
= I + m⊤ (mP ) 1 −
λ λ + mP m⊤
= I.

2
De la aplicación directa del lema anterior a la ecuación (3) obtenemos que
( )
1 (mk Pk−1 )⊤ (mk Pk−1 )
Pk = Pk−1 − . (4)
λ λ + mk Pk−1 m⊤ k

Esta igualdad tiene muchas implicaciones prácticas. Entre ellas destacamos que
la matriz Pk se obtiene del regresor mk y del valor de Pk−1 sin la necesidad
de realizar la inversa de ninguna matriz. Nótese que esto es algo significativo
puesto que Pk se definió en la ecuación (2) como la inversa de una matriz.
 A continuación demostramos que Pk−1 es igual a la matriz Mk⊤ Wk Mk , la
cual juega un papel central en el cómputo de θk .

  
λk−n mn
[ ]
 .. 

.. 

Mk⊤ Wk Mk = m⊤ . . . m⊤ m⊤  .  . 
n k−1 k
 λ   mk−1 
1 mk
 
λk−n mn
[ ]

.. 

= m⊤ . . . m⊤ m⊤  . 
n k−1 k
 λmk−1 
mk
∑
k
−1
= λk−i m⊤
i mi = Pk .
i=n

Por lo tanto, de la ecuación (1) obtenemos

θk = (Mk⊤ Wk Mk )−1 Mk⊤ Wk Yk

= Pk Mk⊤ Wk Yk
  
λk−n yn
[ ]
 ..
.
  ..
 .


= Pk m⊤ ... m⊤ m⊤   
n k−1 k
 λ   yk−1 
1 yk
( )
∑
k
= Pk k−i
λ m⊤
i yi .
i=n

De la misma manera, el valor de θk−1 viene dado por:

(k−1 )
∑
k−1−i ⊤
θk−1 = Pk−1 λ mi yi . (5)
i=n

La formulación recursiva consiste en obtener una expresión que nos permita

obtener θk del valor de θk−1 . Esto es lo que conseguimos con el siguiente desa-
rrollo.
( k )
∑
k−i ⊤
θk = Pk λ mi yi
i=n
( )
∑
k−1
= Pk m⊤
k yk + k−i
λ m⊤
i yi
i=n
 ( )
∑
k−1
= Pk m⊤
k yk +λ λk−1−i
m⊤
i yi
i=n
( )( ∑
k−1
)
1 (mk Pk−1 )⊤ (mk Pk−1 ) ⊤ k−1−i ⊤
= Pk−1 − mk yk + λ λ mi y i .
λ λ + mk Pk−1 m⊤ k i=n

Teniendo en cuenta la ecuación (5) obtenemos

( )
1 (mk Pk−1 )⊤ (mk Pk−1 )
θk = Pk−1 − m⊤
k yk
λ λ + mk Pk−1 m⊤k
(mk Pk−1 )⊤ (mk θk−1 )
+θk−1 −
λ + mk Pk−1 m⊤ k
( )
1 Pk−1 m⊤ ⊤
k (mk Pk−1 mk )
= Pk−1 m⊤ − yk
λ k
λ + mk Pk−1 m⊤k
(mk Pk−1 )⊤ (mk θk−1 )
+θk−1 −
λ + mk Pk−1 m⊤ k
( ⊤
)
1 ⊤ m k k−1 mk
P
= Pk−1 mk 1 − yk
λ λ + mk Pk−1 m⊤ k
(mk Pk−1 )⊤ (mk θk−1 )
+θk−1 −
λ + mk Pk−1 m⊤ k
Pk−1 m⊤k yk Pk−1 m⊤
k (mk θk−1 )
= + θ k−1 −
λ + mk Pk−1 m⊤k λ + m ⊤
k Pk−1 mk

Pk−1 m⊤
k (yk − mk θk−1 )
= θk−1 + .
λ + mk Pk−1 m⊤k

Teniendo en cuenta que yk − mk θk−1 es el error cometido en la estimación de yk

con θk−1 , resulta que el valor actualizado de θk es igual al valor anterior θk−1
más un término correctivo consistente en el producto del error de estimación
yk − mk θk−1 por una ganancia de estimación Kk que adopta la forma:

Pk−1 m⊤k
Kk = .
λ + mk Pk−1 m⊤
k
Es decir,
θk = θk−1 + Kk (yk − mk θk−1 ).
Por otra parte, de la expresión de Pk dada por la ecuación (4) tenemos que Pk
se puede expresar en términos de Kk y Pk−1 :
1
(I − Kk mk )Pk−1 .
Pk =
λ
Como resumen de todo lo anterior tenemos que las expresiones que permiten
obtener de forma recursiva el valor de θk son
 Pk−1 m⊤
k
Kk =
λ + mk Pk−1 m⊤ k
θk = θk−1 + Kk (yk − mk θk−1 )
1
Pk = (I − Kk mk )Pk−1 .
λ