本文是将文章《线性可分支持向量机的原理推导》中的公式单独拿出来做一个详细的解析，便于初学者更好的理解。
公式 9-31 是关于支持向量机（SVM）分类器中的偏置项 b ∗ b^* b∗ 的计算方法，它通过拉格朗日乘子 α i ∗ \alpha_i^* αi∗、样本标签 y i y_i yi 和支持向量的特征 x i x_i xi 来确定最优分类超平面的偏置 b ∗ b^* b∗。
公式 9-31 的具体形式为：
b
∗
=
y
j
−
∑
i
=
1
N
α
i
∗
y
i
(
x
i
⋅
x
j
)
b^* = y_j - \sum_{i=1}^{N} \alpha_i^* y_i (x_i \cdot x_j)
b∗=yj−i=1∑Nαi∗yi(xi⋅xj)
1. 公式 9-31 的含义
这个公式表示如何通过支持向量 x j x_j xj 来计算分类超平面的偏置 b ∗ b^* b∗，其中：
- b ∗ b^* b∗：是分类器的偏置（截距），它决定了分类超平面的在特征空间中的位置。
- y j y_j yj：是支持向量 x j x_j xj 的类别标签。
- α i ∗ \alpha_i^* αi∗：是第 i i i 个样本的拉格朗日乘子。只有 α i ∗ > 0 \alpha_i^* > 0 αi∗>0 的样本点（支持向量）会对 b ∗ b^* b∗ 的计算有影响。
- x i x_i xi 和 x j x_j xj：分别是支持向量 x i x_i xi 和 x j x_j xj 的特征向量，支持向量是那些对分类超平面有贡献的点。
通过这个公式，我们能够根据所有支持向量的贡献计算出分类器的偏置 b ∗ b^* b∗，确保分类超平面能正确地将样本分开。
2. 公式的推导
为了推导出公式 9-31，我们首先回顾支持向量机的约束条件。对于支持向量
x
j
x_j
xj，它恰好位于分类超平面的边界上，所以满足以下条件：
y
j
(
w
T
x
j
+
b
)
=
1
y_j (w^T x_j + b) = 1
yj(wTxj+b)=1
这个等式意味着支持向量
x
j
x_j
xj 与分类超平面之间的距离正好等于 1，符合支持向量机的间隔最大化的要求。我们可以将法向量
w
w
w 的表达式代入其中：
w
=
∑
i
=
1
N
α
i
∗
y
i
x
i
w = \sum_{i=1}^{N} \alpha_i^* y_i x_i
w=i=1∑Nαi∗yixi
代入到约束条件
y
j
(
w
T
x
j
+
b
)
=
1
y_j (w^T x_j + b) = 1
yj(wTxj+b)=1 中，得到：
y
j
(
(
∑
i
=
1
N
α
i
∗
y
i
x
i
)
T
x
j
+
b
∗
)
=
1
y_j \left( \left( \sum_{i=1}^{N} \alpha_i^* y_i x_i \right)^T x_j + b^* \right) = 1
yj
(i=1∑Nαi∗yixi)Txj+b∗
=1
将
y
j
y_j
yj 移项并展开，可以得到：
∑
i
=
1
N
α
i
∗
y
i
(
x
i
⋅
x
j
)
+
b
∗
=
y
j
\sum_{i=1}^{N} \alpha_i^* y_i (x_i \cdot x_j) + b^* = y_j
i=1∑Nαi∗yi(xi⋅xj)+b∗=yj
于是可以解出偏置
b
∗
b^*
b∗ 的表达式：
b
∗
=
y
j
−
∑
i
=
1
N
α
i
∗
y
i
(
x
i
⋅
x
j
)
b^* = y_j - \sum_{i=1}^{N} \alpha_i^* y_i (x_i \cdot x_j)
b∗=yj−i=1∑Nαi∗yi(xi⋅xj)
这个公式通过支持向量 x j x_j xj 和其他支持向量之间的内积来确定分类器的偏置 b ∗ b^* b∗。
3. 几何意义
几何上，公式 9-31 表明了分类器的偏置 b ∗ b^* b∗ 是如何根据支持向量的位置和分类边界来确定的。支持向量是那些恰好位于分类超平面边界上的点，它们决定了分类器的位置。通过这些支持向量，分类器的偏置可以被计算出来，确保分类超平面能够正确地将不同类别的样本分开。
-
支持向量的作用：通过公式 9-31，我们知道分类器的偏置是由支持向量决定的。支持向量是那些 α i ∗ > 0 \alpha_i^* > 0 αi∗>0 的样本点，它们对分类器的边界有直接的影响。分类器的偏置 b ∗ b^* b∗ 通过这些支持向量的位置来调整。
-
类别标签的影响：每个支持向量的类别标签 y j y_j yj 决定了偏置的正负性，确保分类超平面能够正确划分正类和负类样本。
4. 物理解释
从物理角度看，公式 9-31 说明分类器的偏置 b ∗ b^* b∗ 是通过支持向量的位置和类别来调整的，确保分类器能够正确地划分样本。偏置项 b ∗ b^* b∗ 决定了分类超平面与坐标轴的距离，是分类器中常数项的一部分。
-
正类和负类的分隔：通过支持向量和类别标签的加权和，偏置 b ∗ b^* b∗ 被调整到一个适当的值，以确保所有样本点能够正确地分隔开。公式 9-31 反映了支持向量对分类器的构造起到的核心作用。
-
支持向量的加权：偏置 b ∗ b^* b∗ 还受到每个支持向量的权重（即拉格朗日乘子 α i ∗ \alpha_i^* αi∗）的影响。那些权重大、距离分类边界近的支持向量对 b ∗ b^* b∗ 的计算影响更大。
5. 在 SVM 中的作用
公式 9-31 是支持向量机中用于计算偏置 b ∗ b^* b∗ 的关键公式之一。在确定了法向量 w ∗ w^* w∗ 之后，偏置 b ∗ b^* b∗ 的计算通过支持向量来完成，这样分类器就可以正确地对新样本进行分类。
-
确定偏置 b ∗ b^* b∗：公式 9-31 通过支持向量的特征向量和类别标签计算出偏置 b ∗ b^* b∗，确保分类器超平面的正确位置。
-
构造完整的分类器：有了偏置 b ∗ b^* b∗ 和法向量 w ∗ w^* w∗ 后，分类器的决策函数 f ( x ) = w T x + b ∗ f(x) = w^T x + b^* f(x)=wTx+b∗ 就可以用于对新样本进行分类了。
6. 总结
公式 9-31 表示如何通过支持向量计算出分类器的偏置 b ∗ b^* b∗。偏置 b ∗ b^* b∗ 决定了分类超平面的具体位置，而这个位置是通过支持向量、类别标签和拉格朗日乘子的加权和来确定的。通过这个公式，我们可以确保分类器的超平面能够正确划分正类和负类样本。