《机器学习知识体系》之基本概念篇

一、机器学习相关

1、基本概念

1.1 简述解决一个机器学习问题时，你的流程是怎样的？

抽象成数学问题
明确问题是进行机器学习的第一步。机器学习的训练过程通常都是一件非常耗时的事情，胡乱尝试时间成本是非常高的。
这里的抽象成数学问题，指的我们明确我们可以获得什么样的数据，目标是一个分类还是回归或者是聚类的问题，如果都不是的话，如果划归为其中的某类问题。
获取数据
数据决定了机器学习结果的上限，而算法只是尽可能逼近这个上限。
数据要有代表性，否则必然会过拟合。
而且对于分类问题，数据偏斜不能过于严重，不同类别的数据数量不要有数个数量级的差距。
而且还要对数据的量级有一个评估，多少个样本，多少个特征，可以估算出其对内存的消耗程度，判断训练过程中内存是否能够放得下。如果放不下就得考虑改进算法或者使用一些降维的技巧了。如果数据量实在太大，那就要考虑分布式了。
特征预处理与特征选择
良好的数据要能够提取出良好的特征才能真正发挥效力。
特征预处理、数据清洗是很关键的步骤，往往能够使得算法的效果和性能得到显著提高。归一化、离散化、因子化、缺失值处理、去除共线性等，数据挖掘过程中很多时间就花在它们上面。这些工作简单可复制，收益稳定可预期，是机器学习的基础必备步骤。
筛选出显著特征、摒弃非显著特征，需要机器学习工程师反复理解业务。这对很多结果有决定性的影响。特征选择好了，非常简单的算法也能得出良好、稳定的结果。这需要运用特征有效性分析的相关技术，如相关系数、卡方检验、平均互信息、条件熵、后验概率、逻辑回归权重等方法。
训练模型与调优
直到这一步才用到我们上面说的算法进行训练。现在很多算法都能够封装成黑盒供人使用。但是真正考验水平的是调整这些算法的（超）参数，使得结果变得更加优良。这需要我们对算法的原理有深入的理解。理解越深入，就越能发现问题的症结，提出良好的调优方案。
模型诊断
如何确定模型调优的方向与思路呢？这就需要对模型进行诊断的技术。
过拟合、欠拟合判断是模型诊断中至关重要的一步。常见的方法如交叉验证，绘制学习曲线等。过拟合的基本调优思路是增加数据量，降低模型复杂度。欠拟合的基本调优思路是提高特征数量和质量，增加模型复杂度。
误差分析也是机器学习至关重要的步骤。通过观察误差样本，全面分析误差产生误差的原因:是参数的问题还是算法选择的问题，是特征的问题还是数据本身的问题……
诊断后的模型需要进行调优，调优后的新模型需要重新进行诊断，这是一个反复迭代不断逼近的过程，需要不断地尝试，进而达到最优状态。
模型融合
一般来说，模型融合后都能使得效果有一定提升。而且效果很好。
工程上，主要提升算法准确度的方法是分别在模型的前端（特征清洗和预处理，不同的采样模式）与后端（模型融合）上下功夫。因为他们比较标准可复制，效果比较稳定。而直接调参的工作不会很多，毕竟大量数据训练起来太慢了，而且效果难以保证。
上线运行
这一部分内容主要跟工程实现的相关性比较大。工程上是结果导向，模型在线上运行的效果直接决定模型的成败。不单纯包括其准确程度、误差等情况，还包括其运行的速度(时间复杂度)、资源消耗程度（空间复杂度）、稳定性是否可接受。
这些工作流程主要是工程实践上总结出的一些经验。并不是每个项目都包含完整的一个流程。这里的部分只是一个指导性的说明，只有大家自己多实践，多积累项目经验，才会有自己更深刻的认识。

1.2 损失函数是什么，如何定义合理的损失函数？

损失函数（loss function）是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用 $L (Y, f (x))$ 来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子： $\theta^{*}=\arg\min_{\theta}\frac{1}{N}\sum_{i=1}^{N}L(y_i,f(x_i,\theta))+\lambda \Phi(\theta)$

参考：https://www.cnblogs.com/guoyaohua/p/9217206.html

1.3 回归模型和分类模型常用损失函数有哪些？各有什么优缺点

分类：

Log Loss
$\sum_{i=1}^{N}y_i\log(f(x_i))+(1-y_i)\log(1-f(x_i))$
优点：当误差较大时，梯度也大，下降的较快；也避免了某些情况下激活函数进入饱和区，梯度消失的问题
缺点：大量简单样本的迭代过程中比较缓慢且可能无法优化至最优
Focal Loss
$L_{fl}= \begin{cases} -(1-f(x))^{\gamma}\log(f(x)), & y=1 \\ -(f(x))^{\gamma}\log(1-f(x)) & y=0 \\ \end{cases}, \quad \gamma\gt0$
优点：减少易分类样本的权重，使得模型在训练时更专注于难分类的样本
缺点：
KL Divergence
$D_{KL}(y||f(x))=\sum_{i=1}^{N}y_i(\log(y_i)-\log(f(x_i)))$
优点：可以成功捕获数据集中的模糊。边界框回归器从模糊的边界框中获得较小的损失；所学概率分布反映了边界框预测的不确定性水平
缺点：不满足对称性，不是距离度量
Expontional Loss
$L(y|f(x))=\exp(-yf(x))$
特点：对离群点、噪声非常敏感，经常用在AdaBoost算法中
Hinge Loss
$L(y,f(x))=\max(0,1-yf(x))$
优点：并不鼓励分类器过度自信，让某个正确分类的样本距离分割线超过1并不会有任何奖励，从而使分类器可以更专注于整体的误差；健壮性相对较高，对异常点、噪声不敏感
缺点：没太好的概率解释

回归：

Mean Square Error
$MSE=\sum_{i=1}^{N}(y_i-f(x_i))^{2}$
优点：计算方便，逻辑清晰，衡量误差较准确
缺点：梯度随着误差增大或减小，收敛效果好
Mean Absolute Error
$MAE=\sum_{i=1}^{N}|y_i-f(x_i)|$
优点：对异常值有较好的鲁棒性
缺点：梯度不变是个严重问题，即使对于很小的损失，梯度也很大，不利于模型收敛，常使用变化的学习率解决
Huber Loss
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hLfYptas-1653979732963)(https://km.woa.com/gkm/api/img/cos-file-url?url=https%3A%2F%2Fkm-pro-1258638997.cos.ap-guangzhou.myqcloud.com%2Ffiles%2Fphotos%2Fpictures%2F202201%2F1641269303-8418-61d3c837cd8be-29217.png&is_redirect=1)]
优点：对异常值更加鲁棒；在最优点附近由于调整为MSE，梯度更新会随着误差减小而减小，有利于收敛
缺点：引入额外的超参，需要调试；临界点时， $\delta$ 不可导
Log Cosh Loss
$L(y,f(x))=\sum_{i=1}^{N}\log(\cosh(y_i-f(x_i)))$
优点：具有huber损失具备的所有优点；二阶处处可微
缺点：误差很大情况下，一阶梯度和Hessian会变成定值，导致XGBoost出现缺少分裂点的情况
Quantile Loss
$L_{\gamma}(y-f(x))=\sum_{i:y_i<f(x_i)}(1-\gamma)|y_i-f(x_i)|+\sum_{i:y_i\ge f(x_i)}\gamma|y_i-f(x_i)|$

参考：https://blog.csdn.net/sjokes/article/details/84504436

1.4 什么是结构误差和经验误差？训练模型的时候如何判断已经达到最优？

结构误差：模型加入正则项后，在训练集上的误差
经验误差：模型在训练集上的误差称为“经验误差”

结构风险最小化的模型是最优的模型

1.5 模型的“泛化”能力是指？如何提升模型泛化能力？

Q1：泛化能力是指模型在未知数据集上的预测能力，是模型本质上重要的性质。
Q2：增加正则项；增加训练数据；减少模型复杂度；Droupout；batch normalize

1.6 如何选择合适的模型评估指标？AUC、精准度、召回率、F1值都是什么？如何计算？有什么优缺点？

选择一个能跟业务指标波动一致的评估指标，这样通过观察评估指标就能判断模型效果，可以大大提高模型迭代效率
参考我之前写的一篇博客，https://blog.csdn.net/zuolixiangfisher/article/details/81328297?spm=1001.2014.3001.5502

1.7 什么是混淆矩阵？

以二分类为例，将真实正负样本和模型预测正负样本构成一个 2 * 2的矩阵，这个矩阵就是混淆矩阵，如下图所示
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KNmw3dtp-1653979732965)(https://km.woa.com/gkm/api/img/cos-file-url?url=https%3A%2F%2Fkm-pro-1258638997.cos.ap-guangzhou.myqcloud.com%2Ffiles%2Fphotos%2Fpictures%2F202201%2F1641290444-453-61d41acc6e9b6-701401.png&is_redirect=1)]
准确率，精确率，召回率，F1值都是在混淆矩阵基础上计算。

1.8 ROC曲线如何绘制？相比P-R曲线有什么特点？

还是参考这篇博客，https://blog.csdn.net/zuolixiangfisher/article/details/81328297?spm=1001.2014.3001.5502

1.9 如何评判模型是过拟合还是欠拟合？遇到过拟合或欠拟合时，你是如何解决？

过拟合：即高方差（high variance），是指模型训练出包含噪点在内的所有特征，导致模型在训练集的精度很高，但是应用到新数据集时，精度很低
解决方法：增加正则；减少模型复杂度；减少特征
欠拟合：即高偏差（high bias），是指模型未训练出数据集的特征，导致模型在训练集、测试集上的精度都很低
解决方法：增加模型复杂度；增加新特征；减少正则项

1.10 你是如何针对应用场景选择合适的模型？

首先确定要解决的问题是属于哪一类，有监督还是无监督等
其次比如确定是有监督的，那是回归还是分类
然后看实际需求的紧急程度，是可以慢慢选型来调优，还是需要快速上线
最后根据实际的资源，能用多少数据，用多少计算资源来完成，单机算还是需要并行算，综合选择一个适合的模型。

1.11 如何选择模型中的超参数？有什么方法，并说说其优劣点

网格搜索：网格搜索策略在单个参数的情况下可以很好地工作，但是当必须同时优化多个参数时，它的效率将非常低下。
随机搜索：在多个超参数的情况下，通常首选此策略，并且当某些超参数对最终指标的影响大于其他参数时，此策略特别有效。
梯度：该策略找不到全局最大值，但陷入局部最大值。此方法的一个很好的经验法则是以不同的起始值多次运行它，并检查算法是否收敛到相同的最大值。
贝叶斯优化：贝叶斯优化策略选择基于以前的迭代，类似于梯度策略的功能输出的下一个超参数值。与梯度不同，贝叶斯优化会全局查看过去的迭代，而不仅仅是最后一次

1.12 误差分析是什么？你是如何进行误差分析？

训练误差：训练集上的误差
泛化误差：测试集上的误差
参考：https://blog.csdn.net/GentleCP/article/details/104951049

1.13 你是如何理解模型的偏差和方差？什么样的情况是高偏差，什么情况是高方差？

用下面这幅图来解释比较好
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wJmbYmGm-1653979732965)(https://km.woa.com/gkm/api/img/cos-file-url?url=https%3A%2F%2Fkm-pro-1258638997.cos.ap-guangzhou.myqcloud.com%2Ffiles%2Fphotos%2Fpictures%2F202201%2F1641785360-6469-61dba8109df62-270119.png&is_redirect=1)]
偏差：直接关系到预测输出与真实输出的差距，偏差越大，说明训练的模型越不准确，表达了模型本身的拟合能力
方差：影响了模型在不同数据集上训练得到的模型与真实输出之间的误差，换句话说即模型的适应性，在这个数据上模型效果很好，但是在另一个数据集上却很差
高偏差：表明在训练集上误差大，模型欠拟合
高方差：表明在预测数据集上误差大，模型泛化能力弱

1.14 出现高偏差或者高方差的时候你有什么优化策略？

参考问题 1.9

1.15 奥卡姆剃刀定律是什么？对机器学习模型优化有何启发？举例说明

如无必要，勿增实体
简单模型和复杂模型如果效果类似，那就用简单模型，简单成就高效