SVM 的核函数选择和调参

本文结构：

1. 什么是核函数

2. 都有哪些 & 如何选择

3. 调参

1. 什么是核函数

核函数形式 K(x, y) = <f(x), f(y)>，
其中 x, y  为 n 维，f 为 n 维到 m 维的映射，<f(x), f(y)> 表示内积。

在用SVM处理问题时，如果数据线性不可分，希望通过 将输入空间内线性不可分的数据 映射到 一个高维的特征空间内，使数据在特征空间内是线性可分的，这个映射记作 ϕ(x)，

之后优化问题中就会有内积 ϕi⋅ϕj，
这个内积的计算维度会非常大，因此引入了核函数，
kernel 可以帮我们很快地做一些计算, 否则将需要在高维空间中进行计算。

2. 都有哪些 & 如何选择

下表列出了 9 种核函数以及它们的用处和公式，常用的为其中的前四个：linear，Polynomial，RBF，Sigmoid

其中 linear kernel  和 RBF kernel 在线性可分和不可分的对比可视化例子如下：

3. 调参

在 sklearn 中可以用 grid search 找到合适的 kernel，以及它们的 gamma，C 等参数，那么来看看各 kernel 主要调节的参数是哪些：

其中有两个重要的参数，即 C（惩罚系数） 和 gamma，
gamma 越大，支持向量越少，gamma 越小，支持向量越多。
而支持向量的个数影响训练和预测的速度。
C 越高，容易过拟合。C 越小，容易欠拟合。