机器学习笔记（V）线性模型(I)一维最小二乘法

基本形式

给定由 $d$ 个属性描述的示例 $x=(x_1;x_2;\dots;x_d)，$ 其中 $x_i$ 是 $\mathbf{x}$ 在第 $i$ 个属性上的取值，线性模型试图学得一个线性的组合来进行预测的函数
即：

f (x) = w 1 x 1 + w 2 x 2 + \dots + w d x d + b

$f(\mathbf{x})=w_1x_1+w_2x_2+\dots+w_dx_d+b$
向量形式为：

f (x) = w T x + b

$f(\mathbf{x})=w^T\mathbf{x}+b$
其中

w=(w1;w2;…;wd) $w=(w_1;w_2;\dots;w_d)$

w $w$ 和

b $b$ 学得之后模型就得以确定

线性回归

给定的数据集 $D=\left\{(\mathbf{x}_1,y_1),(\mathbf{x}_2,y_2),\dots,(\mathbf{x}_m,y_m)\right\}$
其中 $\mathbf{x}_i=(x_{i1};x_{i1};\dots;x_{id}),y_i\in\mathbb{R}$
“线性回归”试图学得一个线性模型以尽可能准确地预测实值得输出标记。

最小二乘法

便于讨论考虑一种简单情况，输入属性的数目只有一个。
数据集为 $D=\left\{(x_i,y_i)\right\}_{i=1}^{m}$ 其中 $x_i\in\mathbb{R}$
线性回归处理
$f(x_i)=wx_i+b$ ,使得 $f(x_i)\approx{y_i}$

均方误差：

E (f; D) = 1 m \sum i = 1 m (f (x i) - y i) 2

$E(f;D)=\dfrac{1}{m}\sum\limits_{i=1}^{m}\left(f(x_i)-y_i\right)^2$

让均方误差最小化

(w *, b *) = arg min (w, b) \sum i 1 m (f (x i) - y i) 2 = arg min (w, b) \sum i 1 m (y i - w x i - b) 2

$\begin{equation} \begin{aligned} \left(w^*,b^*\right)=\mathop{\arg\min}_{(w,b)}\sum\limits_{i1}^{m}\left(f(x_i)-y_i\right)^2\\=\mathop{\arg\min}_{(w,b)}\sum\limits_{i1}^{m}\left(y_i-wx_i-b\right)^2 \end{aligned} \end{equation}$
基于均方误差最小化来进行模型求解的方法称为“最小二乘法”(least square method)

最小二乘法的目的

试图找到一条直线，使得所有样本到直线上的欧式距离之和最小。
求解 $w$ 和 $b$ 使得 $E_{(w,b)}=\sum_{i=1}^{m}(y_i-wx_i-b)^2$ 最小化的过程，称为线性回归模型的最小二乘“参数估计”。
将 $E_{(w,b)}$ 分别对 $w$ 和 $b$ 求导，得到

\partial E ( w , b ) \partial w \partial E ( w , b ) \partial b = 2 (w \sum i = 1 m x 2 i - \sum i = 1 m (y i - b) x i) = 2 (m b - \sum i = 1 m (y i - w x i))

$\begin{equation} \begin{split} \dfrac{\partial{E(w,b)}}{\partial{w}}&=2\left(w\sum\limits_{i=1}^{m}x_i^2-\sum\limits_{i=1}^{m}(y_i-b)x_i\right)\\ \dfrac{\partial{E(w,b)}}{\partial{b}}&=2\left(mb-\sum\limits_{i=1}^{m}(y_i-wx_i)\right) \end{split} \end{equation}$
令上面的两个等式为零：

⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ \partial E ( w , b ) \partial w \partial E ( w , b ) \partial b = 0 = 0

$\left\{ \begin{aligned} \dfrac{\partial{E(w,b)}}{\partial{w}}&=0\\ \dfrac{\partial{E(w,b)}}{\partial{b}}&=0 \end{aligned} \right.$
于是有：

⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ w \sum i = 1 m x 2 i - \sum i = 1 m (y i - b) x i m b - \sum i = 1 m (y i - w x i) = 0 (1) = 0 (2)

$\left\{ \begin{aligned} w\sum\limits_{i=1}^{m}x_i^2-\sum\limits_{i=1}^{m}(y_i-b)x_i&=0 \text{ (1)}\\ mb-\sum\limits_{i=1}^{m}(y_i-wx_i)&=0\text{ (2)} \end{aligned} \right.$

由式 $\text{(2)}$ 得

b = 1 m \sum i = 1 m (y i - w x i) (3)

$b=\dfrac{1}{m}\sum\limits_{i=1}^{m}(y_i-wx_i)\text{ (3)}$
将式

(3) $\text{(3)}$ 代入式

(1) $\text{(1)}$ 得到

w \sum i = 1 m x 2 i - \sum i = 1 m [y i - 1 m \sum j = 1 m (y j - w x j)] x i w \sum i = 1 m x 2 i - \sum i = 1 m [y i - 1 m \sum j = 1 m (y j - w x j)] x i w \sum i = 1 m x 2 i - \sum i = 1 m [x i y i - 1 m x i \sum j = 1 m (y j - w x j)] w \sum i = 1 m x 2 i - \sum i = 1 m x i y i - \sum i = 1 m 1 m x i ⎡ ⎣ \sum j = 1 m y j - \sum j = 1 m w x j ⎤ ⎦ w \sum i = 1 m x 2 i - \sum i = 1 m x i y i - \sum i = 1 m 1 m x i \sum j = 1 m y j - 1 m w ⎛ ⎝ \sum j = 1 m x j ⎞ ⎠ 2 = 0 = 0 = 0 = 0 = 0

$\begin{aligned} w\sum\limits_{i=1}^{m}x_i^2-\sum\limits_{i=1}^{m}[y_i-\dfrac{1}{m}\sum\limits_{j=1}^{m}(y_j-wx_j)]x_i&=0\\ w\sum\limits_{i=1}^{m}x_i^2-\sum\limits_{i=1}^{m}[y_i-\dfrac{1}{m}\sum\limits_{j=1}^{m}(y_j-wx_j)]x_i&=0\\ w\sum\limits_{i=1}^{m}x_i^2-\sum\limits_{i=1}^{m}[x_iy_i-\dfrac{1}{m}x_i\sum\limits_{j=1}^{m}(y_j-wx_j)]&=0\\ w\sum\limits_{i=1}^{m}x_i^2-\sum\limits_{i=1}^{m}x_iy_i-\sum\limits_{i=1}^{m}\dfrac{1}{m}x_i\left[\sum\limits_{j=1}^{m}y_j-\sum\limits_{j=1}^{m}wx_j\right]&=0\\ w\sum\limits_{i=1}^{m}x_i^2-\sum\limits_{i=1}^{m}x_iy_i-\sum\limits_{i=1}^{m}\dfrac{1}{m}x_i\sum\limits_{j=1}^{m}y_j-\frac{1}{m}w\left(\sum\limits_{j=1}^{m}x_j\right)^2&=0\\ \end{aligned}$
化简得到：

w ⎛ ⎝ \sum i = 1 m x 2 i - w ⎛ ⎝ \sum j = 1 m x j ⎞ ⎠ 2 ⎞ ⎠ w w w 统 一 符 号 ↓ w = \sum i = 1 m x i y i - \sum i = 1 m 1 m x i \sum j = 1 m y j = \sum i = 1 m x i y i - \sum i = 1 m 1 m x i \sum j = 1 m y j \sum i = 1 m x 2 i - 1 m w ( \sum j = 1 m x j ) 2 = \sum i = 1 m x i y i - \sum i = 1 m 1 m x i \sum j = 1 m y j \sum i = 1 m x 2 i - 1 m w ( \sum j = 1 m x j ) 2 = \sum i = 1 m x i y i - \sum i = 1 m 1 m x i \sum j = 1 m y j \sum i = 1 m x 2 i - 1 m w ( \sum j = 1 m x j ) 2 = \sum i = 1 m y i ( x i - x ¯ ) \sum i = 1 m x 2 i - 1 m w ( \sum i = 1 m x i ) 2

$\begin{aligned} w\left(\sum\limits_{i=1}^{m}x_i^2-w\left(\sum\limits_{j=1}^{m}x_j\right)^2\right)&=\sum\limits_{i=1}^{m}x_iy_i-\sum\limits_{i=1}^{m}\dfrac{1}{m}x_i\sum\limits_{j=1}^{m}y_j\\ w&=\dfrac{\sum\limits_{i=1}^{m}x_iy_i-\sum\limits_{i=1}^{m}\dfrac{1}{m}x_i\sum\limits_{j=1}^{m}y_j}{\sum\limits_{i=1}^{m}x_i^2-\dfrac{1}{m}w\left(\sum\limits_{j=1}^{m}x_j\right)^2}\\ w&=\dfrac{\sum\limits_{i=1}^{m}x_iy_i-\sum\limits_{i=1}^{m}\dfrac{1}{m}x_i\sum\limits_{j=1}^{m}y_j}{\sum\limits_{i=1}^{m}x_i^2-\dfrac{1}{m}w\left(\sum\limits_{j=1}^{m}x_j\right)^2}\\ w&=\dfrac{\sum\limits_{i=1}^{m}x_iy_i-\sum\limits_{i=1}^{m}\dfrac{1}{m}x_i\sum\limits_{j=1}^{m}y_j}{\sum\limits_{i=1}^{m}x_i^2-\dfrac{1}{m}w\left(\sum\limits_{j=1}^{m}x_j\right)^2}\\ \text{统一符号} \downarrow\\ w&=\dfrac{\sum\limits_{i=1}^{m}y_i(x_i-\overline{x})}{\sum\limits_{i=1}^{m}x_i^2-\dfrac{1}{m}w\left(\sum\limits_{i=1}^{m}x_i\right)^2}\\ \end{aligned}$
其中

x¯=1m∑i=1mxi $\overline{x}=\dfrac{1}{m}\sum\limits_{i=1}^{m}x_i$