Bootstrap

SVM

1. SVM原理

SVM 是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器

  • 当训练样本线性可分时,通过硬间隔最大化,学习一个线性分类器,即线性可分支持向量机;
  • 当训练数据近似线性可分时,引入松弛变量,通过软间隔最大化,学习一个线性分类器,即线性支持向量机;
  • 当训练数据线性不可分时,通过使用核技巧及软间隔最大化,学习非线性支持向量机。

2. SVM为什么采用间隔最大化

当训练数据线性可分时,存在无穷个分离超平面可以将两类数据正确分开。感知机利用误分类最小策略,求得分离超平面,不过此时的解有无穷多个。

线性可分支持向量机利用间隔最大化求得最优分离超平面,这时,解是唯一的。另一方面,此时的分隔超平面所产生的分类结果是最鲁棒的,对未知实例的泛化能力最强。

  • 函数间隔|wx+b|能够表示x距离超平面的远近,而wx+b的符号与类标记y的符号是否一致能够表示分类是否正确。y(wx+b)来表示分类的正确性及确信度

    仅有函数间隔是不够的。当wb变为2w2b时,超平面没有改变,但是函数间隔却变为原来的2倍。

  • 几何间隔:对分离超平面的法向量w加约束,如规范化||w||=1,使得间隔是确定的。

    定义为

;