西瓜书笔记

分类学习最基本的思想是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开，但能将训练样本划分的超平面可能有很多，我们需要指导对训练样本局部扰动“容忍”性最好的那个，即通过这个划分超平面所产生的分类结果是最鲁棒的，对未见示例的泛化能力最强。

在样本空间中，划分超平面描述为：

其中：为法向量，决定了超平面的方向；b为位移项，决定了超平面与原点之间的距离。显然，划分超平面可被法向量w和位移b确定。将其记为。样本空间中任一点x到超平面的距离可写为：

其推导过程为：【机器学习】支持向量机SVM原理及推导

假设超平面能将训练样本正确分类，即对于，若,则有；若，则有。令

如图所示，距离超平面最近的几个训练样本点使上式等号成立，他们被称为“”支持向量“”，两个异类支持向量到超平面的距离之和为

它被称为“”间隔“”。

欲找到具有最大间隔的划分超平面，也就是要找到能满足式（1）中约束的参数w和b，使得最大。即：

显然，为了最大化间隔，仅需要最大化，这等价于最小化。于是上式可以重写为：

这就是支持向量机的基本型。