Bootstrap

详解机器学习经典模型(原理及应用)——岭回归

一、什么是岭回归

        岭回归(Ridge Regression),也称为Tikhonov正则化(Tikhonov Regularization),是一种专门用于处理多重共线性(特征之间高度相关)问题的线性回归改进算法,显然它是一个回归模型。在多重共线性的情况下,数据矩阵可能不是满秩的,这意味着矩阵不可逆,因此不能直接使用普通最小二乘法(Ordinary Least Squares,OLS)来估计模型参数。岭回归通过在损失函数中添加一个正则化项(惩罚项)来解决这个问题。

二、岭回归模型建模流程

1、定义损失函数

        岭回归的损失函数是残差平方和(RSS)与正则化项的和。残差平方和是模型预测值与实际值之差的平方和,而正则化项是模型参数的L2范数(平方和)。岭回归的损失函数可以表示为:

L(\theta ) = \sum_{i=1}^{n}(y_{i}-\sum_{j=1}^{m}\theta _{j}x_{ij})^{2} + \lambda \sum_{j=1}^{m}\theta _{j}^{2}

        其中,n是样本数量,m是特征数量,y_{i}是第i个样本的目标值,x_{ij}是第i个样本的第j个特征值,\theta _{j}是第j个特征的权重,\lambda是正则化参数,控制正则化项的强度。正则化项的公式为后半部分,即:

\lambda \sum_{j=1}^{m}\theta _{j}^{2}

        正则化项的作用是惩罚模型参数的大小。当\lambda增大时,正则化项的影响增大,参数\theta趋向于较小的值,这有助于减少模型的复杂度和过拟合的风险。正则化项也可以使模型在面对多重共线性时更加稳定。在没有正则化(即\lambda=0)的情况下,岭回归退化为普通最小二乘回归

2、构建设计矩阵

        设计矩阵X是一个n×m的矩阵,其中每一行代表一个样本,每一列代表一个特征。通常在设计矩阵中加入一列值为1的偏置项,以便模型包含截距项。

3、参数估计

        岭回归的参数估计可以通过最小化损失函数来实现。由于损失函数是二次的,因此可以通过解析方法直接求解(比梯度下降更方便)。具体来说,岭回归的参数可以通过以下公式计算得到:

\theta = (X^{T}X+\lambda I)^{-1}X^{T}y

        其中,X是设计矩阵,y是目标值向量,\lambda是正则化参数,I是单位矩阵。这个公式提供了一个闭式解,意味着可以直接计算出参数\theta,而不需要进行迭代搜索计算。在实际应用中,直接计算(X^{T}X+\lambda I)^{-1}可能会遇到数值稳定性问题,尤其是当X^{T}X接近奇异或不可逆时。为了解决这个问题,可以使用奇异值分解(SVD)或其他数值稳定的方法来计算参数,当然这在scikit-learn之类的库内部已经默认使用了稳定的数值方法来求解参数,不需要人工进行迭代。

4、模型评估

        参数被计算出来之后,就可以使用它们来对新数据进行预测,并评估模型的性能。通常使用均方误差(MSE)或决定系数(R²)等指标来评估模型。

5、超参数选择

        正则化参数\lambda的选择对模型性能有很大影响,可以通过交叉验证来选择最佳的\lambda值。

三、模型应用

        这里使用经典的波士顿房价数据进行回归建模。

# 导入必要的库
from sklearn.datasets import load_boston
from sklearn.linear_model import Ridge
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# 加载波士顿房价数据集
boston = load_boston()
X, y = boston.data, boston.target

# 划分数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建岭回归模型实例,设置正则化参数alpha(就是公式中的λ)
ridge_reg = Ridge(alpha=1.0)

# 训练模型
ridge_reg.fit(X_train, y_train)

# 在测试集上进行预测
y_pred = ridge_reg.predict(X_test)

# 计算均方误差(MSE)
mse = mean_squared_error(y_test, y_pred)
print(f'Mean Squared Error: {mse:.2f}')

# 可选:打印模型参数
print(f'Model coefficients: {ridge_reg.coef_}')
print(f'Model intercept: {ridge_reg.intercept_}')

四、总结

        岭回归模型是很简单的机器学习模型,但也是很常见的baseline模型,尤其是在数据特征数量多于样本数量,或者特征之间存在高度相关性的情况下,我们会倾向于先用岭回归建模看看效果。模型具体的优缺点如下:

1、优点

        (1)处理多重共线性:岭回归能够有效处理特征之间的高度相关性,提高模型的稳定性。

        (2)泛化能力:通过正则化减少模型的复杂度,降低过拟合的风险。

        (3)参数解释性:岭回归的参数估计具有较好的解释性,可以用于统计推断。

2、缺点

        (1)正则化参数的选择:需要选择合适的正则化参数,这需要依赖经验或者交叉验证。

;