一、最小二乘法

1.1 定义

1974年高斯提出的最小二乘法的基本原理是未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。
$$z(k)=y(k)+v(k)$$
$z(k)$为观测值，$y(k)$为计算值，$v(k)$误差。
最小二乘法为$$min\sum _{k=1}^{m}w(k)|z(k)-y(k){|}^2$$
w(k)为精确度。

通过一个例子来理解最小二乘法。
通过试验确定热敏电阻阻值和温度间的关系如下表所示：

用直线$y=a+bt$拟合该曲线，a和b为待估计参数。
每次测量总是存在随机误差。
$$y_i=R_i+v_i$$

当采用每次测量的随机误差的平方和最小时，即
$$J_{min}=\sum _{i=1}^N{v}_i^2=\sum _{i=1}^N[R_i-(a+b{t}_i){]}^2$$
，平方运算又称二乘，而且又是按照J最小来估计a和b的，称这种方法为最小二乘估计算法，简称最下二乘法。

为什么用平方呢？因为平方可以求导。

利用最小二乘法求取模型参数
若使得J最小，利用求极值的方法得

整理得

解方程组得

1.2 SISO系统运用最小二乘估计进行辨识

对于SISO系统，被辨识模型传递函数为：

对其离散化，对应的差分方程为

若考虑噪声影响

式中，$z(k)$为系统输出量的第$k$次观测值;$y(k)$为系统输出量的第$k$次真值;$u(k)$为系统的第$k$个输入值;$v(k)$是均值为0的随机噪声。

定义

则$z(k)$可写为
$$z(k)=h(k)\theta +v(k)$$
式中，$\theta$为待估计参数。

令$k=1,2,\cdots ,m$,则有

最小二乘的思想就是寻找一个$\theta$的估计值$\hat{\theta }$，使得各次测量的$Z_i(i=1,\cdots ,m)$与由估计$\hat{\theta }$确定的量测估计$\widehat{Z_i}=H_i\hat{\theta }$之差的平方和最小，即

根据极值定理:

如果$H_m$的行数大于等于行数，即$m⩾2n$，$H_m^T{H}_m$满秩，即$rank(H_m^T{H}_m)=2n$，则$(H_m^T{H}_m{)}^{-1}$存在。则$\theta$的最小二乘估计为
$$\hat{\theta }=(H_m^T{H}_m{)}^{-1}{H}_m^T{Z}_m$$

1.3 几何解释

$H_m\hat{\theta }$应该等于$Z_m$在$h(1),h(2),\cdots ,h(m)$的张成空间的投影。

1.4 最小二乘法性质

1. 最小二乘估计是无偏估计
   如果参数估计的数学期望等于参数的真值，则称估计是无偏的。
   $$E(\hat{\theta })=0或E(\tilde{\theta })=0$$
2. 最小二乘估计是有效估计
   有效估计就是具有最小方差的估计。
   $$E(\tilde{\theta }{\tilde{\theta }}^T)=(H_m^T{H}_m{)}^{-1}{H}_m^{T}R{H}_m(H_m^T{H}_m{)}^{-1}最小$$
3. 最小二乘估计是一致估计
   如果随着测量次数$m$的增加,${\hat{\theta }}_m$依概率收敛于真值$\theta$，则称${\hat{\theta }}_m$为$\theta$的一致估计。
   $$li{m}_{m\to \infty }p(|{\hat{\theta }}_m-\theta |>\epsilon )=0$$

二、加权最小二乘法

一般最小二乘估计精度不高的原因之一是对测量数据同等对待；由于各次测量数据很难在相同的条件下获得的，因此存在有的测量值置信度高，有的测量值置信度低的问题。对不同置信度的测量值采用加权的办法分别对待，置信度高的，权重取得大些;置信度低的，权重取的小些。

式中，$W_m$为加权矩阵，它是一个对称正定矩阵，通常取为对角矩阵，即$W_m=diag[w(1)w(2)\cdots w(m)]$

$$\hat{\theta }=(H_m^T{W}_m{H}_m{)}^{-1}{H}_m^T{W}_m{Z}_m$$
如果$W_m=R^{-1}$
$$\hat{\theta }=(H_m^T{R}^{-1}{H}_m{)}^{-1}{H}_m^T{R}^{-1}{Z}_m$$
又称马尔可夫估计。
马尔可夫估计的均方误差为
$$E(\tilde{\theta }{\tilde{\theta }}^T)=(H_m^T{R}^{-1}{H}_m{)}^{-1}$$
马尔可夫估计的均方误差比任何其他加权最小二乘估计的均方误差都要小，所以是加权最小二乘估计中的最优者。

加权最小二乘估计也满足无偏性、有效性、一致性。

三、递推最小二乘法

当前估计值$\hat{\theta }(k)$=上次估计值$\hat{\theta }(k-1)$+修正项

根据加权最小二乘法，利用 m 次测量数据所得到的估值
$$\hat{\theta }=(H_m^T{W}_m{H}_m{)}^{-1}{H}_m^T{W}_m{Z}_m$$
当新获得一对输入、输出数据时
$$z(m+1)=h(m+1)\theta +v(m+1)$$
利用m+1次输入、输出数据，得到的方程为$$Z_{m+1}=H_{m+1}\theta +V_{m+1}$$
$${\hat{\theta }}_{m+1}=(H_{m+1}^T{W}_{m+1}{H}_{m+1}{)}^{-1}{H}_{m+1}^T{W}_{m+1}{Z}_{m+1}$$
$$W_{m+1}=\left[\begin{array}{cc}{W}_m& 0\\ 0& w(m+1)\end{array}\right]$$
如果设$$P_m=[H_m^T{W}_m{H}_m{]}^{-1}$$
$$P_{m+1}=[H_{m+1}^T{W}_{m+1}{H}_{m+1}{]}^{-1}$$
则有$${\hat{\theta }}_m=P_m{H}_m^T{W}_m{Z}_m$$
$${\hat{\theta }}_{m+1}=P_{m+1}{H}_{m+1}^T{W}_{m+1}{Z}_{m+1}$$

$P(m)-P(m+1)⩾0$，随着递推次数的增加，$P(m)$和$K(m)$逐渐减小，直至趋于0。数据饱和后，由于递推计算的舍入误差，不仅新的观测值对参数估计不起修正作用，反而使$P(m)$失去正定性，导致估计误差增加。
当系统参数随时间变化时，因新数据被旧数据淹没，递推算法无法直接使用。为适应时变参数的情况，修改算法时旧数据的权重(降低)，增加新数据的作用。
主要方法有数据窗法和Kalman滤波法。

四、增广最小二乘法

对比：

参考：
[1]刘金琨,沈晓蓉,赵龙.系统辨识理论及MATLAB仿真[M].电子工业出版社,2013.