RNN原理解析

一、起因

DNN无法对时间序列上的变化进行建模。然而，样本出现的时间顺序对于自然语言处理、语音识别、手写体识别等应用非常重要。为了适应这种需求，就出现了大家所说的另一种神经网络结构——循环神经网络RNN。

二、定义

1.RNN图像定义

2.RNN的详细定义

2.双向RNN的图像定义

三、RNN的公式

1.正向传播公式

RNN两个输入两个输出，所以RNN正向传播公式就是两个输出公式：
隐状态输出：
模型输出：

2.反向传播公式

对损失函数求导：

来源：
https://zhuanlan.zhihu.com/p/28687529

三、RNN模型的优点缺点

1.优点

2.缺点

• 梯度消失问题
• 梯度爆炸问题

参考文献：
1.https://blog.csdn.net/loovelj/article/details/80196890