循环神经网络RNN

潜变量自回归模型：

使用潜变量ht总结过去信息

Xt与ht、Xt-1相关

ht与ht-1和Xt-1相关

标准神经网络的不足：

输入和输出数据在不同例子中可能有不同的长度

一个像这样单纯的神经网络结构，它并不共享从文本不同位置上学到的特征：

①以前的特征输入是稳定的，即所有的特征域表达的内容是同一性质的；比如人名是一个特征域类别，其他的是其他类别，一旦他们交换位置，需要重新学习特征

②若神经网络已经学习到在位置1出现的“Harry”可能是人名的一部分，那么如果“Harry”出现在其他位置，有可能就无法成功识别

③在位置1学习到识别人名的能力，但是名字在位置2出现，那么2就无法识别

参数量巨大：

①输入网络的特征往往是one-shot或embedding向量，维度大

②输入网络的特征是一段序列，当序列长时，输入向量大

无法体现出时序的“前因后果”

循环神经网络：

隐变量：可观察

浅变量：不可观察

定义：

串联：后状态会受到前状态的影响，将前后关联

在T时刻的输出Ot是根据隐变量ht生成的，而ht使用的观察值是Xt-1

Ot用来匹配Xt的输入，但在生成Ot时看不到Xt；Xt是用来更新ht，使罗列到下一个单元；当前时刻的输出是预测当前时刻的观察，但是输出发生在观察之前

特点：

串联结构，体现出“前因后果”，后面的结果的生成，要参考前面的信息

所有的特征共享一套参数：

①面对不同的输入，能学到不同的相应的结果

②极大的减少了训练参数量

③输入和输出数据在不同例子中可以有不同的长度

计算损失：

比较Ot与Xt计算损失

单个时间步的损失函数：

$L^{<t> }\left ( \widehat{y}^{<t>},y^{< t> } \right )=-y^{< t> }log\widehat{y}^{<t >}-(1-y^{<t>})log(1-\widehat{y}^{<t>})$

整个序列的损失函数：将整个时间步的损失函数相加

$L\left ( \widehat{y},y \right )=\sum _{t=1}^{Tx}L^{< t> }\left ( \widehat{y}^{<t>},y^{< t> } \right )$

反向传播：

计算各层参数对损失的梯度，RNN中还要进行梯度的累加，进行权重的梯度更新

单个单元的梯度公式：

语言模型应用：

当前0时刻的输入做的输出作用在下一时刻

输入“你”，更新隐变量，预测“好”；观察到“好”，更新隐变量，输出下一个“，”

通过观察“你”的状态，将其转化为“好”的状态

与MLP不同：

多了一个时间轴，使得和前一时刻的ht-1发生关系，而信息都存在h中

公式：

W代表权重，存储时序信息

输出还是使用隐藏状态

困惑度perplexity：

衡量一个语言模型（分类模型）的好坏可以用平均交叉熵

对一个序列做n次预测，也就是做n次分类，而对语言模型预测评价好坏就是取平均，n次交叉熵的平均值

若困惑度为k，则代表这一次预测的k个词都是有可能为预测值的

做指数可以让值更大，容易看出改进带来的优势

梯度裁剪：

背景：

当序列太长时，容易导致梯度消失，参数更新只能捕捉到局部依赖关系，无法再捕捉序列之间的长期关联或依赖关系。

迭代中计算这T个时间步上的梯度，在反向传播过程中产生长度为O(T)的矩阵乘法链，导致数值不稳定（数量很多的矩阵乘法会得到较大的值或较小的值）

RNN梯度消失手算过程：

作用：

梯度裁剪能有效预防梯度爆炸

梯度爆炸：导数值很大，或者出现了NAN

g的长度就是连乘的个数，超过theta就只保留theta个，不超过就全部保留

RNN的应用：

①one to one：最简单的一对一MLP，给一个样本输出一个label

②one to many：给一个词，生成一个词

③many to one：给一个序列，每一个时间t进入更新状态，在最后的时刻输出，得到完整的句子的分类

④many to many：给一个句子，先不做输出，在句子结束时开始输出，以问答和机器翻译的形式

⑤many to many：给一个句子，输出每一个词的tag

总结：

循环神经网络的输出取决于当下输入和前一时间的隐变量

应用到语言模型中时，循环神经网络根据当前词预测下一时刻词

通常使用困惑度来衡量语言模型的好坏