一、RNN:
史上最详细循环神经网络讲解(RNN/LSTM/GRU) - 知乎
二、梯度消失(DNN、RNN):
从反向传播推导到梯度消失and爆炸的原因及解决方案(从DNN到RNN,内附详细反向传播公式推导) - 知乎
DNN梯度消失和梯度爆炸:
三、LSTM:
长短时记忆网络(LSTM)(超详细 |附训练代码)_lstm代码-CSDN博客
三个门控指的是三个嵌入:
遗忘门(ft)、输入门(it)、输出门(ot)。分别用历史单元状态(ct-1)、当前单元状态(ct')、历史隐藏状态(ht-1)通过各个门控,得到下一个单元状态(ct)与隐藏状态(ht)