基本概念

概念1

高维空间存在可分的情况。

我们可以找一个映射函数送过去。

概念2:Kernel Func

高维空间的内积可以通过低维空间的内积表示。

这样的表示方法即为核函数。

也就是说，只要知道核函数，就知道高维空间的内积。

总结

Kernel Methods起作用，通过：

1. 把数据送到另一个空间（通常具有高的维度）；
2. 在新的空间找到一个线性关系（可以将数据分开）。

如果映射选择合适，复杂的关系能够被简化。

另外，我们观察得到：

1. 映射空间的几何性质可以通过内积来表示；
2. 内积的计算是简单的。

内积矩阵（Gram/Kernel Matrix）

一些思考

1. 映射函数是否必要？（不一定需要。）
2. 是不是只用核函数即可？（是的。）
3. 什么样的核函数能被使用？（满足有限正半定。）
4. 给一个映射，是否一定能找到一个核函数？（是的。）
5. 给一个核函数，是否一定能构建一个特征空间/映射？（是的。）

什么是有限正半定

一个函数：$$k:X\times X\to R$$
满足有限正半定当且仅当对于有限个样本$x$，它的内积矩阵是一个正半定矩阵。

另外，思考4和5对应定理：Characterization of Kernels。

常用的Kernel Functions

Linear Kernel

$$K(x,z)=x\cdot z$$

什么时候用：特征比较丰富，样本数据量大，需要进行实时得出结果的问题。

优点：简单，不需要设置任何参数，可以直接使用。

Polynomial Kernel

$$K(x,z)=(\gamma x\cdot z+\zeta {)}^p,\gamma >0$$
$\gamma$对内积进行放缩、$\zeta$控制常数项、$q$控制高次项。

维度和阶没有必然关系，只是特征空间核原空间的映射关系的体现。

RBF(Gaussian) Kernel

$$K(x,z)=\exp (-\frac{\Vert x-z{\Vert }^2}{2{\sigma }^2})$$

表示什么：两个样本点之间相似的程度（欧氏距离）。

上述式子在凑两个样本点的内积表示。

高斯核函数可以表示为无穷维度的特征。

其他样本点和当前样本点的高斯核函数结果作为当前样本点的特征。

就是说：