支持向量机是什么？
支持向量机是一种用于分类的机器学习算法。它的任务是根据一些已知的数据点，找到一个最佳的“分隔线”，把不同类别的数据点分开。这个分隔线就像一条直线或一个平面，把数据空间分成两个部分，每个部分包含一种类别的数据点.
为什么叫“支持向量”？
在所有可能的分隔线中，有一些数据点离分隔线最近，这些点就是“支持向量”。它们决定了分隔线的位置和方向。如果这些点稍微移动一下，分隔线也会跟着移动。所以，这些点就像在“支持”着这条线，这就是“支持向量”的由来.
如何找到最佳分隔线？
为了找到最佳的分隔线，我们需要考虑两个因素：
- 正确分类：分隔线必须把不同类别的数据点正确分开。
- 最大间隔：分隔线两侧的间隔（即支持向量到分隔线的距离）要尽可能大，这样可以提高分类的准确性.
公式解释
假设我们有一些数据点 ( x_i )，每个点都有一个标签 ( y_i )，表示它是哪一类（比如红色为1，蓝色为-1）.
我们用一个线性函数 (
f
(
x
)
=
w
⋅
x
+
b
f(x) = w \cdot x + b
f(x)=w⋅x+b
) 来表示分隔线，其中 ( w ) 是一个向量，( b ) 是一个常数.
为了找到最佳的 ( w ) 和 ( b )，我们需要解决以下优化问题：
[
最大化
2
∥
w
∥
\text{最大化} \quad \frac{2}{\|w\|}
最大化∥w∥2
]
[
约束条件
y
i
(
w
⋅
x
i
+
b
)
≥
1
\text{约束条件} \quad y_i (w \cdot x_i + b) \geq 1 \
约束条件yi(w⋅xi+b)≥1
]
-
最大化间隔：(
2 ∥ w ∥ \frac{2}{\|w\|} ∥w∥2
) 表示分隔线两侧的间隔，我们希望这个间隔尽可能大. -
约束条件：(
y i ( w ⋅ x i + b ) ≥ 1 y_i (w \cdot x_i + b) \geq 1 yi(w⋅xi+b)≥1
) 确保每个数据点 ( x_i ) 被正确分类，并且离分隔线的距离至少为1.
总结
支持向量机通过找到一个最佳的分隔线来区分不同类别的数据点。它利用支持向量来确定分隔线的位置和方向，并通过优化问题来最大化类别之间的间隔，从而提高分类的准确性。希望这个解释能帮助你更好地理解支持向量机！
支持向量机（SVM）的优化问题
为了求解支持向量机（SVM）的优化问题，我们使用拉格朗日乘子法。这个问题可以表示为：
[
最大化
2
∥
w
∥
\text{最大化} \quad \frac{2}{\|w\|}
最大化∥w∥2
]
[
约束条件
y
i
(
w
⋅
x
i
+
b
)
≥
1
\text{约束条件} \quad y_i (w \cdot x_i + b) \geq 1
约束条件yi(w⋅xi+b)≥1
]
首先，我们转换最大化问题为最小化问题，因为拉格朗日乘子法通常用于最小化问题。我们最小化 (
1
2
∥
w
∥
2
\frac{1}{2} \|w\|^2
21∥w∥2
) 而不是 (
2
∥
w
∥
\frac{2}{\|w\|}
∥w∥2
)，因为这两个问题在 ( w ) 上是等价的。
所以，我们的优化问题变为：
[
最小化
1
2
∥
w
∥
2
\text{最小化} \quad \frac{1}{2} \|w\|^2 \
最小化21∥w∥2
]
[
约束条件
y
i
(
w
⋅
x
i
+
b
)
≥
1
\text{约束条件} \quad y_i (w \cdot x_i + b) \geq 1
约束条件yi(w⋅xi+b)≥1
]
接下来，我们引入拉格朗日乘子 (
α
i
\alpha_i
αi
) 来处理约束条件。拉格朗日函数 ( L ) 定义为：
[
L
(
w
,
b
,
α
)
=
1
2
∥
w
∥
2
−
∑
i
=
1
n
α
i
[
y
i
(
w
⋅
x
i
+
b
)
−
1
]
L(w, b, \alpha) = \frac{1}{2} \|w\|^2 - \sum_{i=1}^n \alpha_i [y_i (w \cdot x_i + b) - 1]
L(w,b,α)=21∥w∥2−i=1∑nαi[yi(w⋅xi+b)−1]
]
其中 (
α
i
≥
0
\alpha_i \geq 0
αi≥0
) 是拉格朗日乘子。
为了找到 ( w ) 和 ( b ) 的最优值，我们需要对 ( L ) 关于 ( w ) 和 ( b ) 求偏导数，并令其等于零：
[
∂
L
∂
w
=
w
−
∑
i
=
1
n
α
i
y
i
x
i
=
0
\frac{\partial L}{\partial w} = w - \sum_{i=1}^n \alpha_i y_i x_i = 0 \
∂w∂L=w−i=1∑nαiyixi=0
]
[
∂
L
∂
b
=
−
∑
i
=
1
n
α
i
y
i
=
0
\frac{\partial L}{\partial b} = -\sum_{i=1}^n \alpha_i y_i = 0
∂b∂L=−i=1∑nαiyi=0
]
从第一个方程中，我们得到：
[
w
=
∑
i
=
1
n
α
i
y
i
x
i
w = \sum_{i=1}^n \alpha_i y_i x_i
w=i=1∑nαiyixi
]
从第二个方程中，我们得到：
[
∑
i
=
1
n
α
i
y
i
=
0
\sum_{i=1}^n \alpha_i y_i = 0 \
i=1∑nαiyi=0
]
现在，我们将 ( w ) 的表达式代入拉格朗日函数 ( L )，得到关于 ( \alpha ) 的对偶问题：
[
L
(
α
)
=
1
2
(
∑
i
=
1
n
α
i
y
i
x
i
)
⋅
(
∑
j
=
1
n
α
j
y
j
x
j
)
−
∑
i
=
1
n
α
i
[
y
i
(
w
⋅
x
i
+
b
)
−
1
]
L(\alpha) = \frac{1}{2} \left( \sum_{i=1}^n \alpha_i y_i x_i \right) \cdot \left( \sum_{j=1}^n \alpha_j y_j x_j \right) - \sum_{i=1}^n \alpha_i [y_i (w \cdot x_i + b) - 1]
L(α)=21(i=1∑nαiyixi)⋅(j=1∑nαjyjxj)−i=1∑nαi[yi(w⋅xi+b)−1]
]
[
L
(
α
)
=
1
2
∑
i
=
1
n
∑
j
=
1
n
α
i
α
j
y
i
y
j
(
x
i
⋅
x
j
)
−
∑
i
=
1
n
α
i
[
y
i
(
∑
j
=
1
n
α
j
y
j
x
j
⋅
x
i
+
b
)
−
1
]
L(\alpha) = \frac{1}{2} \sum_{i=1}^n \sum_{j=1}^n \alpha_i \alpha_j y_i y_j (x_i \cdot x_j) - \sum_{i=1}^n \alpha_i [y_i (\sum_{j=1}^n \alpha_j y_j x_j \cdot x_i + b) - 1]
L(α)=21i=1∑nj=1∑nαiαjyiyj(xi⋅xj)−i=1∑nαi[yi(j=1∑nαjyjxj⋅xi+b)−1]
]
[
L
(
α
)
=
1
2
∑
i
=
1
n
∑
j
=
1
n
α
i
α
j
y
i
y
j
(
x
i
⋅
x
j
)
−
∑
i
=
1
n
α
i
y
i
(
∑
j
=
1
n
α
j
y
j
x
j
⋅
x
i
+
b
)
+
∑
i
=
1
n
α
i
L(\alpha) = \frac{1}{2} \sum_{i=1}^n \sum_{j=1}^n \alpha_i \alpha_j y_i y_j (x_i \cdot x_j) - \sum_{i=1}^n \alpha_i y_i (\sum_{j=1}^n \alpha_j y_j x_j \cdot x_i + b) + \sum_{i=1}^n \alpha_i
L(α)=21i=1∑nj=1∑nαiαjyiyj(xi⋅xj)−i=1∑nαiyi(j=1∑nαjyjxj⋅xi+b)+i=1∑nαi
]
[
L
(
α
)
=
1
2
∑
i
=
1
n
∑
j
=
1
n
α
i
α
j
y
i
y
j
(
x
i
⋅
x
j
)
−
∑
i
=
1
n
∑
j
=
1
n
α
i
α
j
y
i
y
j
(
x
i
⋅
x
j
)
−
∑
i
=
1
n
α
i
y
i
b
+
∑
i
=
1
n
α
i
L(\alpha) = \frac{1}{2} \sum_{i=1}^n \sum_{j=1}^n \alpha_i \alpha_j y_i y_j (x_i \cdot x_j) - \sum_{i=1}^n \sum_{j=1}^n \alpha_i \alpha_j y_i y_j (x_i \cdot x_j) - \sum_{i=1}^n \alpha_i y_i b + \sum_{i=1}^n \alpha_i
L(α)=21i=1∑nj=1∑nαiαjyiyj(xi⋅xj)−i=1∑nj=1∑nαiαjyiyj(xi⋅xj)−i=1∑nαiyib+i=1∑nαi
]
[
L
(
α
)
=
−
1
2
∑
i
=
1
n
∑
j
=
1
n
α
i
α
j
y
i
y
j
(
x
i
⋅
x
j
)
+
∑
i
=
1
n
α
i
L(\alpha) = -\frac{1}{2} \sum_{i=1}^n \sum_{j=1}^n \alpha_i \alpha_j y_i y_j (x_i \cdot x_j) + \sum_{i=1}^n \alpha_i \
L(α)=−21i=1∑nj=1∑nαiαjyiyj(xi⋅xj)+i=1∑nαi
]
因此，对偶问题为：
[
最大化
L
(
α
)
=
∑
i
=
1
n
α
i
−
1
2
∑
i
=
1
n
∑
j
=
1
n
α
i
α
j
y
i
y
j
(
x
i
⋅
x
j
)
\text{最大化} \quad L(\alpha) = \sum_{i=1}^n \alpha_i - \frac{1}{2} \sum_{i=1}^n \sum_{j=1}^n \alpha_i \alpha_j y_i y_j (x_i \cdot x_j)
最大化L(α)=i=1∑nαi−21i=1∑nj=1∑nαiαjyiyj(xi⋅xj)
]
[
约束条件
α
i
≥
0
\text{约束条件} \quad \alpha_i \geq 0
约束条件αi≥0
]
[
约束条件
∑
i
=
1
n
α
i
y
i
=
0
\text{约束条件} \quad \sum_{i=1}^n \alpha_i y_i = 0
约束条件i=1∑nαiyi=0
]
通过求解这个对偶问题，我们可以找到 (
α
i
\alpha_i
αi
) 的值。然后，我们可以使用 (
w
=
∑
i
=
1
n
α
i
y
i
x
i
w = \sum_{i=1}^n \alpha_i y_i x_i
w=i=1∑nαiyixi
) 来找到 ( w ) 的值。最后，我们可以通过选择一个支持向量 ( x_i ) 并使用 (
y
i
(
w
⋅
x
i
+
b
)
=
1
y_i (w \cdot x_i + b) = 1
yi(w⋅xi+b)=1
) 来找到 ( b ) 的值。
这样，我们就找到了 ( w ) 和 ( b ) 的最优值，从而得到了 SVM 的分隔线 (
f
(
x
)
=
w
⋅
x
+
b
f(x) = w \cdot x + b
f(x)=w⋅x+b
)。