深度学习（六）-循环神经网络
标准CNN模型的不足
- 假设数据之间是独立的。标准CNN假设数据之间是独立的，所以在处理前 后依赖、序列问题（如语音、文本、视频）时就显得力不从心。这一类数 据（如文本）和图像数据差别非常大，最明显的差别莫过于，文本数据对文字的前后次序非常敏感。所以，需要发展新的理论模型。
- 标准CNN络还存在一个短板，输入都是标准的等长向量，而序列数据长度是可变的。
RNN模型
循环神经网络（Recurrent Neural Network，RNN）是一类具有短期记忆能力的神经网络，适合用于处理视频、语音、文本等与时序相关的问题
LSTM模型
由于RNN具有梯度消失问题，因此很难处理长序列的数据。于是对RNN进行了改进，得到了长短期记忆网络模型（Long Short-Term Memory，简称LSTM）
- 输入门：决定什么信息输入进来
- 遗忘门：决定从细胞状态中丢弃什么信息
- 输出门：决定输出什么
LSTMs的核心是细胞状态，用贯穿细胞的水平线表示。细胞状态像传送带一样。它贯穿整个细胞却只有很少的分支，这样能保证信息不变的流过整个RNNs。
遗忘门
输入门
状态更新
输出门
CNN和RNN的关系
CNN和RNN同属于深度学习基本模型，CNN主要用于图像问题，RNN主要用于语音、NLP。深度学习还有一种基本模型Transformer，发源于NLP，后来也引入到图像识别中
