Bootstrap

机器学习:非线性SVM分类器(原理+python实现)

看这篇文章的前提是已经熟知了SVM在线性可分情况下的分类原理,这篇文章的重点是在线性不可分情况下,该如何利用SVM实现分类。

一 线性不可分与SVM的目标

简单来讲,线性不可分的含义为:不能通过用一条直线或一个平面将数据集分隔开来,比如数据集是下图这样:

在这里插入图片描述
由左图可知,我们是无法利用直线来将平面上的数据点进行分类,但是将这些数据投放点到空间时,我们可以用一个平面来实现对数据点的分类。在上述分类的过程中,我们实际上对数据点进行一个"升维“的操作,将原本数据只有(x,y)二维特征上升到(x,y,z)三维特征,使得问题又转换成了线性可分的问题,那么在此条件下的SVM目标,就是找到一个能够分类数据点的平面,使得该平面距离不同类别的数据点的距离最大。
那么此时的分类函数表达式为:在这里插入图片描述
优化目标为:
在这里插入图片描述

二 SMO算法步骤

Platt的SMO算法的步骤
步骤1:计算误差:
在这里插入图片描述
其中Xi指的是第i个数据向量,一个数据向量是由不同特征构成
Yi指的是该数据向量的类别
Ai指的是第i个数据向量所对应的alpha
注意:非线性则将xit*xj这部分换为K(Xi,Xj),K为核函数
步骤2:计算上下界L和H:
在这里插入图片描述
这是相等的情况下,这里写错了
步骤3:计算η:
在这里插入图片描述
注意:非线性换成K(X[i],X[i]) + K(X[j],X[j]) - 2 * K(X[i],X[j])
步骤4:更新αj:
在这里插入图片描述
步骤5:根据取值范围修剪αj:
在这里插入图片描述
步骤6:更新αi:
在这里插入图片描述
步骤7:更新b1和b2:
在这里插入图片描述
注意:非线性将b1_new中部分换为K(X[i], X[i]) 和K(X[j], X[i])
非线性将b2_new中部分换为K(X[i], X[j]) 和K(X[j], X[j])
步骤8:根据b1和b2更新b:
在这里插入图片描述
根据alpha求权重
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

i表示第几个数据,当i=1时,即第一个数据向量
X1的数据结构为{x1,x2,x3…xn},这里的下标指的是数据向量的数据特征
那么同理,第一个数据向量的alpha1的数据结构为{a1,a2,a3…an}
所以a1y1x1的计算结果的数据结构和X1和alpha一样,均是一行
因此w的计算是将n个数据向量的w计算相加,其结构也是一行

第三部分 SMO算法实现非线性SVM

import numpy as np
import pandas as pd
# 构建线性不可分时的SVM分类器
class SVM:
    def __init__(self, max_iter=100, kernel='linear'):
        self.max_iter = max_iter
        self._kernel = kernel
        # features是m个数据样本,每个样本有n个特征,对应的类别为labels
    def init_args(self, features, labels):  # 不明白为何不在init里面设置
        # m 为样本个数 n为样本特征数
        self.m, self.n = features.shape
        self.X = features
        self.Y = labels
        self.b = 0.0
        # alpha是一个数组,大小为m*1,每个样本对应一个alpha
        self.alpha = np.ones(self.m)
        # 记录误差E的列表,大小为m*1
        self.E = [self._E(i) for i in range(self.m)]
        # 松弛变量
        self.C = 1.0
    # 判断是否满足KKT条件
    def _KKT(self, i):
        y_g = self._g(i) * self.Y[i]
        if self.alpha[i] == 0:
            return y_g >= 1
        elif 0 < self.alpha[i] < self.C:
            return y_g == 1
        else:
            return y_g <= 1
    # 计算每个样本的预测值f(Xi)
    def _g(self, i):
        r = self.b
        for j in range(self.m
;