软间隔支持向量

​ 这一节我们要回答的问题是？如何判断一个点是软间隔支持向量机中的支持向量，在硬间隔支持向量机中，支持向量只需要满足一个等式：
$$y_i(w^T{x}_i+b)-1=0$$
​ 在软间隔支持向量机中支持向量的定义并没有改变，依旧是距离超平面$\frac{1}{\Vert \omega \Vert }$的点，但是因为引入的了松弛变量${\zeta }_i$，所以我们需要对每一个点进行判断，这里我们判断的依据是KKT条件。
$$\begin{gathered} 原始可行性：y_i(w^T{x}_i+b)\ge 1-{\zeta }_i \\ 对偶可行性：{\alpha }_i\ge 0{\mu }_i\ge 0 \\ 互补松弛条件：{\alpha }_i(y_i(w^T{x}_i+b)-1+{\xi }_i)=0 \\ {\mu }_i{\zeta }_i=0 \\ C-{\alpha }_i-{\mu }_i=0 \end{gathered}$$
Case1: IF $\alpha =0$ 此时意味着${\alpha }_i(y_i(w^T{x}_i+b)-1+{\xi }_i)=0$恒成立，因为松弛变量$\zeta \ge 0$,且约束$y_i(w^T{x}_i+b)\ge 1-{\zeta }_i$，则左边大于右边的最大值也就是：$y_i(w^T{x}_i+b)\ge 1$，此时就代表样本在间隔边界上或者已经被正确分类，对决策边界没有影响，如图中case1点。

​ Case2: IF $0<{\alpha }_i<C$，当$0<{\alpha }_i<C$时，由$C-{\alpha }_i-{\mu }_i=0$可得${\mu }_i>0$，因为${\mu }_i({\xi }_i)=0$（互补松弛条件），所以${\xi }_i=0$。又因为${\alpha }_i(y_i(w\cdot x_i+b)-1+{\xi }_i)=0$且${\xi }_i=0$，所以$y_i(w\cdot x_i+b)=1$。这表明样本点$x_i$位于间隔边界上，是支持向量，对决策边界有影响。如图中点Case2点

​ Case3：IF $\alpha =C$,当${\alpha }_i=C$时，由$C-{\alpha }_i-{\mu }_i=0$可得${\mu }_i=0$，因为${\alpha }_i(y_i(w\cdot x_i+b)-1+{\xi }_i)=0$且${\alpha }_i=C>0$，所以$y_i(w\cdot x_i+b)-1+{\xi }_i=0$，即${\xi }_i=1-y_i(w\cdot x_i+b)$。由于${\xi }_i\ge 0$，所以$y_i(w\cdot x_i+b)\le 1$。这意味着样本点$x_i$可能在间隔内部或者违反间隔边界，有可能是异常点或者对决策边界有较大影响的点。

​ 当${\zeta }_i=0时$，$y_i(w\cdot x_i+b)=1$，样本点位于间隔边界上，是支持向量。

当$0<{\zeta }_i<1$时,由${\xi }_i=1-y_i(w^T{x}_i+b)$，可得 $0<1-y_i(w^T{x}_i+b)<1$，即 $0<y_i(w^T{x}_i+b)<1$。这意味着样本点 $x_i$ 在间隔内部，但靠近间隔边界。如图中点Case3。

​ 当${\zeta }_i\ge 1$时，可得$1-y_i(w^T{x}_i+b)\ge 1$，即$y_i(w^T{x}_i+b)<0$，此时点在错误的类别区域，可能在负支持向量超平面与超平面的间隔之间，或者直接越过了负支持向量超平面。如图中点Case4，5。

​ 综上如果从松弛变量的值角度来看，当${\zeta }_i=0$时，点要么已经分类好，要么是支持向量，当$0<\zeta <1$时，点分类的没问题，但是越过了支持向量平面，当$\zeta \ge 1$时点没有被分类好，可能在超平面上，可能越过了超平面或者反方向的支持向量平面