Bootstrap

线性回归预测数值型数据

所谓线性回归(linear regression),就是根据训练数据找到一组参数w,利用 y = w*s 对新数据进行预测。

通常使用误差函数为平方误差:

\sum^m_{i=1} (y_i - x^T_i w) ^2

使该误差最小化,求导令其导数为零求得系数w,利用矩阵可以表示为:

w = (X^TX)^{-1}X^Ty

该过程成为普通最小二乘法(ordinary least squares,OLS)
 


由于OLS只能找到数据最佳拟合直线,所以应用有限。引入局部加权线性回归(Locally Weighted Linear Regression, LWLR)

给每个点赋予权重,误差函数为:\sum^m_{i=1}W^i(y_i - x^T_iw)^2,求解w得:

;