本文是将文章【条件随机场的学习算法】中的公式单独拿出来做一个详细的解析, 便于初学者更好的理解。

公式 (11.37)：

$$\begin{array}{rl}{E}_{\tilde{P}}[s_l]& =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^{n+1}{s}_l(y_i,x,i)\\ & =\sum _{x,y}\tilde{P}(x)P(y|x)\sum _{i=1}^n{s}_l(y_i,x,i)\exp ({\delta }_{K_1+l}T(x,y)),\\ l& =1,2,\cdots ,K_2\end{array}\text{\hspace{1em}(11.37)}$$

公式的背景

该公式定义了 状态特征函数 $s_l$ 的期望值 $E_{\tilde{P}}[s_l]$。这里涉及到：

1. 经验分布 $\tilde{P}(x,y)$：基于训练数据计算得到的联合概率分布。
2. 模型分布 $P(y|x)$：条件随机场模型给定输入 $x$ 时的条件概率分布。
3. 状态特征函数 $s_l$：描述输出标签 $y_i$ 在输入序列 $x$ 的某个位置 $i$ 上的特征值。

符号解释

1. $E_{\tilde{P}}[s_l]$：

   • 表示状态特征 $s_l$ 在训练数据分布 $\tilde{P}(x,y)$ 下的期望值。

2. $\tilde{P}(x,y)$：

   • 训练数据的经验分布，表示 $(x,y)$ 出现的联合概率。

3. $P(y|x)$：

   • CRF 模型的条件概率分布，表示给定输入 $x$ 时，输出 $y$ 的概率：
     $$P(y|x)=\frac{\exp \left({\sum }_k{w}_k{f}_k(y,x)\right)}{Z_w(x)}.$$

4. $s_l(y_i,x,i)$：

   • 状态特征函数，描述在位置 $i$，标签 $y_i$ 和输入 $x$ 的某种特征值。
   • 例如，$s_l$ 可以表示标签 $y_i$ 是否等于某个特定值或输入 $x$ 在位置 $i$ 上的某个属性。

5. $T(x,y)$：

   • $T(x,y)$ 是所有特征函数的加权和：
     $$T(x,y)=\sum _{k=1}^K{f}_k(y,x).$$

6. $\exp ({\delta }_{K_1+l}T(x,y))$：

   • 表示引入参数修正量 ${\delta }_{K_1+l}$，用于对当前模型参数的调整进行补偿。

7. $l=1,2,\dots ,K_2$：

   • 表示状态特征函数 $s_l$ 的索引，状态特征共有 $K_2$ 个。

公式的逐步解释

1. 期望的定义

第一行：
$$E_{\tilde{P}}[s_l]=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^{n+1}{s}_l(y_i,x,i),$$

• 这是状态特征 $s_l$ 在训练数据的经验分布 $\tilde{P}(x,y)$ 下的期望值。
• 对所有可能的 $x$ 和 $y$ 进行加权求和，其中 $s_l(y_i,x,i)$ 是序列中第 $i$ 位置的状态特征值。

2. 分解为边缘分布和条件分布

第二行：
$$E_{\tilde{P}}[s_l]=\sum _{x,y}\tilde{P}(x)P(y|x)\sum _{i=1}^n{s}_l(y_i,x,i)\exp ({\delta }_{K_1+l}T(x,y)).$$

• 将联合概率 $\tilde{P}(x,y)$ 分解为边缘分布 $\tilde{P}(x)$ 和条件分布 $P(y|x)$：
  $$\tilde{P}(x,y)=\tilde{P}(x)P(y|x).$$

• $\exp ({\delta }_{K_1+l}T(x,y))$：

  • 这一项表示引入了对模型参数的修正量 ${\delta }_{K_1+l}$，对应于 $s_l$ 的更新。

• 内部和式：
  $$\sum _{i=1}^n{s}_l(y_i,x,i),$$
  表示状态特征 $s_l$ 在序列中所有位置的累加值。

公式的作用

1. 计算目标：

   • 公式用于计算状态特征 $s_l$ 在当前模型分布 $P(y|x)$ 下的期望值。

2. 参数更新：

   • 在改进的迭代尺度法（IIS）中，参数 ${\delta }_{K_1+l}$ 的更新依赖于状态特征的期望值。
   • 目标是使 经验期望 和 模型预测的期望 一致，从而调整模型参数。

3. 修正项的引入：

   • 通过 $\exp ({\delta }_{K_1+l}T(x,y))$，将参数的更新与当前模型的预测进行动态结合，确保优化过程能够逐步逼近最优解。

总结

公式 (11.37) 定义了状态特征函数 $s_l$ 的期望值。它通过将经验分布 $\tilde{P}(x,y)$ 分解为边缘分布 $\tilde{P}(x)$ 和条件分布 $P(y|x)$，引入参数修正量 ${\delta }_{K_1+l}$ 来实现状态特征在模型分布下的动态调整。在 改进的迭代尺度法（IIS） 中，该公式用于计算状态特征的期望值，为参数更新提供依据，目标是让模型的预测分布逐渐逼近真实数据分布。